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ПРЕДИСЛОВИЕ 


Искусственный интеллект — это раздел информатики, посвя- 
щенный моделированию интеллектуальной деятельности челове- 
ка. Зародившийся более 700 лет назад в средневековой Испании 
искусственный интеллект оформился в самостоятельную научную 
область в середине ХХ в. Пройдя сложный, извилистый путь мно- 
гократных метаний между чрезмерным оптимизмом и необосно- 
ванным скептицизмом, в наши дни искусственный интеллект 
получил блестящие практические приложения, открывающие 
перспективы, без которых немыслимо дальнейшее развитие ци- 
вилизации. 

Методы искусственного интеллекта позволили создать эффек- 
тивные компьютерные программы в самых разнообразных, ранее 
считавшихся недоступными для формализации и алгоритмизации, 
сферах человеческой деятельности, таких как медицина, биоло- 
гия, зоология, социология, культурология, политология, эконо- 
мика, бизнес, криминалистика и т.п. Идеи обучения и самообу- 
чения компьютерных программ, накопления знаний, приемы об- 
работки нечетких и неконкретных знаний позволили создать про- 
граммы, творящие чудеса. Компьютеры успешно борются за зва- 
ние чемпиона мира по шахматам, моделируют творческую дея- 
тельность человека, создавая музыкальные и поэтические произ- 
ведения, распознают образы и сцены, распознают, понимают и 
обрабатывают речь, тексты на естественном человеческом языке. 
Нейрокомпьютеры, созданные по образу и подобию человече- 
ского мозга, успешно справляются с управлением сложными тех- 
ническими объектами, диагностикой заболеваний человека, не- 
исправностей сложных технических устройств; предсказывают 
погоду и курсы валют, результаты голосований; выявляют хаке- 
ров и потенциальных банкротов; помогают абитуриентам правиль- 
но выбрать специальность и т.д. 

Мы уже привыкли к тому, что компьютеры «умнеют» букваль- 
но на глазах, а компьютерные программы становятся все более и 
более интеллектуальными. Само по себе понятие интеллекта по- 
стоянно претерпевает изменения по мере развития науки и чело- 
века. Давно уже не считаются интеллектуальными задачи, состоя- 
щие в выполнении арифметических операций сложения, умно- 
жения, деления. Не считается интеллектуальной задача интегри- 
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рования дифференциального уравнения, если для нее известен 
строго детерминированный алгоритм. В настоящее время принято 
считать интеллектуальными задачи, которые на современном эта- 
пе не поддаются алгоритмизации в традиционном смысле этого 
слова. Это задачи, для решения которых требуются манипуляции 
с нечеткими, неконкретными, ненадежными, расплывчатыми и 
даже нетрадиционными знаниями. 

Каким же образом удается решать такие задачи? 

Автор попытался ответить на этот вопрос, собрав и проанали- 
зировав методы искусственного интеллекта, применяющиеся в 
различных разделах и направлениях. Основной упор он сделал на 
то, что принципиально отличает интеллектуальные системы. Это, 
в первую очередь, возможность их обучения, накопления знаний 
во время работы компьютерных программ, способность самообу- 
чения, самоорганизации, самосовершенствования. 

В книге нет готовых алгоритмов и программ. Однако читатель, 
владеющий современными инструментальными средствами ин- 
форматики, может реализовать излагаемые идеи и методы в своей 
практической деятельности. Кроме того, знание теоретических 
основ искусственного интеллекта полезно при освоении совре- 
менных интеллектуальных пакетов прикладных программ, число 
которых растет ускоряющимися темпами. 

Книга содержит изложение двух основных подходов, применя- 
емых при создании систем искусственного интеллекта, — техно- 
логии экспертных систем и нейросетевых технологий. В некотором 
смысле эти подходы являются альтернативными. Первый из них 
предполагает создание базы знаний о предметной области и меха- 
низма, обрабатывающего эти знания с целью получения полез- 
ного логического вывода. Согласно второму подходу знания хра- 
нятся и обрабатываются в неявной форме подобно тому, как это 
происходит в человеческом мозге. Часто эти подходы конкуриру- 
ют между собой, поэтому при проектировании систем искусст- 
венного интеллекта важно сделать правильный выбор. 

В книге большое внимание уделяется вопросам практического 
применения методов искусственного интеллекта, в частности, при 
решении задач распознавания образов, прогнозирования, диаг- 
ностики, оптимизации, при моделировании творческой деятель- 
ности человека, создании игровых компьютерных программ. При- 
ведены принципы построения, общее описание и опыт примене- 
ния систем искусственного интеллекта, используемых в промыш- 
ленности, бизнесе, экономике, медицине, криминалистике, по- 
литологии, педагогике. 

Последняя глава книги, названная «Интеллектуальное мате- 
матическое моделирование», по своей сути открывает новое на- 
правление искусственного интеллекта. Здесь автор изложил свой 
опыт по созданию интеллектуальной системы, имитирующей твор- 
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ческую деятельность математика-профессионала, его интуицию и 
опыт, необходимые при аналитическом решении краевых задач 
математической физики. 

Таким образом, предлагаемое издание охватывает весьма ши- 
рокий круг вопросов и несмотря на учебную направленность со- 
лержит элементы научной монографии. Поэтому автор рекомен- 
лует книгу как студентам, так и зрелым программистам, аспиран- 
там и ученым, посвятившим себя этой увлекательной научной 
области. 

Автор использовал рукописные материалы из библиотеки Юрия 
Владимировича Девингталя, подаренной Пермскому государствен- 
ному университету Валентиной Васильевной Девингталь. Кроме того, 
в книге приводится информация, любезно предоставленная автору 
специалистами в области искусственного интеллекта: Р. П. Абу- 
севым, И.А. Грибановым, В.А. Игошиным, В.А. Краснобаевым, 
М.А. Марценюком, С.И. Чуприной. Результаты решения краевых 
задач гл. 7 получены совместно с С.Л. Гладким и Ф.Г. Салахутди- 
новым. Экспертная система: интеллектуального математического 
моделирования разработана совместно с С.Л. Гладким, а ее пер- 
воначальное тестирование выполнено А. В. Семеновой, Ф. Г. Са- 
лахутдиновым, А. В. Тарантиной, О.А. Кулинской. Принципы по- 
строения нейросетевой системы диагностики авиационных двига- 
телей разработаны совместно с начальником отдела диагностики 
АО «Авиадвигатель» В.Ф. Халиуллиным, а принципиальные ос- 
новы создания системы кардиодиагностики разрабатывались с 
врачом-консультантом Пермского кардиологического центра 
Ю. К. Филоненко. Принципы построения нейросетевого детекто- 
ра лжи обсуждались с полковником МВД РФ А. М. Петровым. 

Всем своим коллегам, предоставившим информацию, приняв- 
шим участие в разработке систем искусственного интеллекта и в 
подготовке рукописи книги, автор выражает искреннюю благо- 
дарность. 


ГЛАВА 1 


ПРОШЛОЕ, НАСТОЯЩЕЕ И БУДУЩЕЕ 
ИСКУССТВЕННОГО ИНТЕЛЛЕКТА 


1.1. ИСТОРИЧЕСКИЙ ОЧЕРК 


Человек — это самый сложный из доступных для нашего вос- 
приятия объект, а способность мышления — его главное свойство — 
атрибут. Искусственный интеллект — наука, поставившая своей 
целью изучение и моделирование атрибута человека. Какова при- 
рода мышления? Какие процессы происходят в нашем организ- 
ме, когда мы думаем, чувствуем, видим, понимаем? Возможно 
ли в принципе понять, как работает наш мозг, и заставить мыс- 
лить неживую природу? На протяжении тысячелетий человек за- 
давался этими вопросами, но до сих пор мы не можем на них 
ответить с полной определенностью. 

История попыток создания искусственного подобия челове- 
ческого разума насчитывает более 700 лет. Первую зафиксирован- 
ную в истории попытку создания машины, моделирующей чело- 
веческий разум, связывают с именем испанского рыцаря, поэта, 
философа, богослова, алхимика, изобретателя Раймунда Луллия. 

Представляет огромный интерес сама личность этого человека. 
Любимец короля, дуэлянт и повеса, как о нем пишут историки, 
рыцарь Раймунд Луллий вдруг отказывается от светских развлече- 
ний и идет в монастырь, чтобы стать мудрецом. Его решение выз- 
вано весьма благородной целью — постичь науки и с их помощью 
излечить от болезни свою даму сердца. К сожалению, истории не 
известно, удалось ли Луллию достичь своей цели. Известно толь- 
ко, что в возрасте 80 лет он был насмерть забит камнями. Это 
случилось при неудачной попытке чтения лекций по искусствен- 
ному интеллекту. 

Луллий родился в 1235 и умер в 1315 г. В его времена ученые 
были заняты поиском неких универсальных понятий и истин, 
которые, будучи связанными между собой, давали бы общую кар- 
тину мироздания, а значит, и ответы на все интересующие чело- 
вечество вопросы. Это был век философов-мудрецов, астрологов 
и алхимиков, занятых поисками философского камня. 

Развивая традиции ученых своего времени, Луллий сконструи- 
ровал машину, состоявшую из системы кругов, имевших возмож- 
ность вращаться. Каждый круг был поделен на секторы, окрашен- 
ные в разные цвета и помеченные латинскими буквами. Круги 
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соединялись друг с другом, и, приводя их во вращение, можно 
было получить различные сочетания символов и цветов — так 
называемую формулу истины. 

Машины Луллия могли работать в различных предметных об- 
ластях и давать ответы на всевозможные вопросы, составлять го- 
роскопы, ставить диагнозы болезней, делать прогнозы на урожай. 
В наиболее позднем варианте машина Луллия состояла из 14 кру- 
гов, размеченных буквами и раскрашенных в различные цвета, 
которые символизировали различные понятия, элементы, сти- 
хии, субъекты и объекты знания. Круги приводились в движение 
системой рычагов. Поворачиваясь, они могли образовывать около 
18 квадриллионов (18 · 10'°) разнообразных сочетаний буквенных 
и цветовых «истин». Запросы в машину вводились с помощью по- 
ворота внутреннего круга, на котором было начертано девять ва- 
риантов вопросов: Что? Почему? Из чего? Сколько? Каким обра- 
зом? Где? Когда? Какое? Которое из двух? 

Выражаясь современным языком, машина Луллия, по существу, 
представляла собой механическую экспертную систему, наделен- 
ную базой знаний, устройствами ввода и вывода, естественным 
языком общения. Свести к логическим операциям если не все зна- 
пия о мире, то хотя бы часть из них, а затем поручить не челове- 
чсскому мозгу, а механическому устройству процедуру вывода «фор- 
мул знания», следующих из накопленной базы знаний, — эта идея 
искусственного интеллекта, впервые высказанная и реализованная 
средневековым рыцарем Раймундом Луллием, прожила семь веков 
и достигла в наши дни своего расцвета и триумфа. 

В 40-х годах ХХ в. с появлением электронно-вычислительных 
машин искусственный интеллект обрел второе рождение. Про- 
изошло выделение искусственного интеллекта в самостоятельное 
паучное направление. Сам термин «искусственный интеллект» 
(агЫЯса! іпеШеепсе) был предложен в 1956 г. на семинаре с ана- 
погичным названием в Станфордском университете (США). 

С тех пор история искусственного интеллекта представляла со- 
оой постоянные споры и метания между двумя крайностями — 
оптимизмом и пессимизмом. Интересны знаменитые предсказа- 
пия американского экономиста и социолога, исследователя в об- 
части теории управления, моделирования социальных процессов 
Г. Саймона, сделанные в 1957 г. Приведем некоторые из них: 

в ближайшее десятилетие ЭВМ завоюет титул чемпиона мира 
но шахматам; 

в пределах десяти лет ЭВМ откроет и сумеет доказать важную 
новую математическую теорему; 

в десятилетний срок большинство теорий в области психоло- 
‚ни примет вид программ для вычислительной машины. 

Сейчас, спустя почти полвека, мы видим, что предсказания 
‹‘аймона постепенно сбываются, что он ошибался только в сро- 
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ках. Мы также можем отметить, что эйфория вокруг молодой ки- 
бернетики имела как положительные, так и отрицательные по- 
следствия. С одной стороны, она стимулировала интерес обще- 
ственности к новому научному направлению, выразившийся в 
выделении крупных грантов правительством США. С другой сто- 
роны, кибернетика стала объектом весьма резкой критики более 
«трезво мыслящих» ученых. Мы также знаем, к каким тяжелым 
последствиям привела эта критика в СССР, когда за решение 
проблем научных дискуссий взялся государственный репрессив- 
ный аппарат. 

Вскоре после признания искусственного интеллекта самостоя- 
тельной отраслью науки произошло его разделение на два основ- 
ных направления: нейрокибернетику и кибернетику «черного ящи- 
ка». Первое из этих направлений иногда называют низкоуровне- 
вым, или восходящим, а второе — высокоуровневым, или нисходя- 
щим. 

Основную идею нейрокибернетики можно сформулировать сле- 
дующим образом. Единственный объект, способный мыслить, — 
это человеческий мозг. Поэтому любое мыслящее устройство дол- 
жно быть обязательно выполнено по образу и подобию человече- 
ского мозга, воспроизводить его структуру, его принцип действия. 
Таким образом, нейрокибернетика занимается аппаратным моде- 
лированием структуры мозга и его деятельности. 

Как известно, мозг человека состоит из большого количества 
взаимосвязанных нервных клеток — нейронов. Поэтому усилия 
нейрокибернетиков сосредоточены на разработке элементов, по- 
добных нейронам, и объединении этих элементов в системы — 
нейросети и нейрокомпьютеры. Первые нейросети и нейрокомпь- 
ютеры были предложены и созданы американскими учеными 
В. Мак-Каллоком, В. Питтсом и Ф. Розенблаттом в конце 1950-х 
годов. Это были устройства, моделирующие человеческий глаз и 
его взаимодействие с мозгом. Устройства умели распознавать бук- 
вы алфавита, однако были чувствительны к их написанию. 

Сегодня нейрокомпьютерные и нейросетевые технологии яв- 
ляются одним из наиболее перспективных и быстро развиваю- 
щихся разделов искусственного интеллекта. Крупных успехов в этой 
области добились японские исследователи. Ими создан компь- 
ютер УІ поколения — нейрокомпьютер, моделирующий структу- 
ру мозга и имеющий обширную базу знаний. Значительных успе- 
хов в этой области добились российские ученые. Отечественные 
нейрокомпьютеры уже давно применяются для управления слож- 
ными техническими объектами военного назначения. 

В отличие от нейрокибернетики кибернетика «черного ящика» 
не придает значения принципу действия мыслящего устройства. 
Главное, чтобы оно адекватно моделировало его функциональ- 
ную деятельность. Это направление искусственного интеллекта 
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ориентировано на поиски алгоритмов решения интеллектуальных 
задач с использованием существующих компьютеров независимо 
от их аппаратной базы. 

Поставив перед собой задачу моделирования функций мозга, 
ученые столкнулись с серьезной проблемой. Оказалось, что не- 
смотря на многовековую историю исследований ни одна из суще- 
ствующих наук (философия, психология, лингвистика и др.) не 
смогла предложить сколько-нибудь конкретный алгоритм челове- 
ческого мышления. Поэтому кибернетикам пришлось создавать 
собственные модели мышления. 

В конце 50-х гг. ХХ в. появилась модель лабиринтного поиска. 
Согласно этому подходу решение интеллектуальной задачи вы- 
полнялось путем перебора огромного количества вариантов, 
который представлялся в виде движения по лабиринту. Создание 
таких алгоритмов, по словам их критиков, было не более разум- 
но, чем попытки заново написать все книги, хранящиеся в Бри- 
ганском музее, посадив за пишущие машинки обезьян и надеясь, 
что обезьяны рано или поздно чисто случайно сумеют напечатать 
осмысленное слово, фразу или страницу. В настоящее время мо- 
лель лабиринтного поиска признается тупиковой и имеет ограни- 
ченное использование в игровых компьютерных программах. 

В начале 1960-х гг. началась эпоха эвристического програм- 
мирования. Как писал автор этого термина американский мате- 
матик Пойа, цель эвристики — исследовать методы и правила, 
как делать открытия и изобретения. Это очень сложная проблема. 
Дело в том, что Архимед, выпрыгнувший из ванны с криком 
«Эврика, не объяснил, каким образом он догадался, что тело, 
погруженное в жидкость, теряет в своем весе ровно столько, 
сколько весит вытесненный им объем воды. Ньютон открыл за- 
кон всемирного тяготения, наблюдая за падением яблока. Мен- 
делеев пришел к принципу построения периодической таблицы 
во сне. Поэтов и музыкантов вдохновляют к творческим поискам 
возвышенные чувства, разобраться в которых в принципе не воз- 
МОЖНО. 

Чтобы понять механизмы творческого мышления, авторы эв- 
ристического подхода провели эксперимент. Была отобрана груп- 
па студентов, не знакомых с математической логикой. Каждый 
студент должен был доказать самостоятельно одну или несколько 
георем из учебника, не заглядывая в него. При этом ему вменя- 
пось в обязанность рассуждать вслух, делать любые записи, пре- 
кращать работу, если становилось ясно, что выбран неверный путь, 
и начинать все сначала. 

Обработав магнитофонные записи, выкладки, черновики сту- 
дентов, программисты нашли эвристики — способы, которыми 
пользовались студенты, доказывая теоремы. А затем с помощью 
этих эвристик была составлена программа, известная под назва- 
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нием «Логик-теоретик», которую принято считать родоначальни- 
цей эвристического программирования. И эта программа доказала 
все теоремы, какие были в учебнике, и сформулировала допол- 
нительно те, которых не хватало до полной логической завершен- 
ности курса. 

Наряду с указанными выше двумя подходами к проблеме мо- 
делирования мышления и создания искусственного интеллекта 
существует третий, названный эволюционным программированием 
(моделированием). Смысл этого подхода состоит в том, что про- 
цесс моделирования человека заменяется моделированием про- 
цесса его эволюции. 

Серьезный прорыв в практических приложениях искусствен- 
ного интеллекта произошел в середине 1970-х гг., когда, отказав- 
шись от поисков универсального алгоритма мышления, програм- 
мисты начали моделировать конкретные знания специалистов- 
экспертов. Открылось новое направление искусственного интел- 
лекта — экспертные системы. С появлением экспертных систем 
бизнес в сфере интеллектуальных информационных технологий 
впервые становится рентабельным. 

С середины 1980-х гг. искусственный интеллект — это одно из 
наиболее привлекательных в коммерческом отношении направ- 
лений компьютерной индустрии. Растут ежегодные капиталовло- 
жения, создаются промышленные и военные экспертные систе- 
мы. В качестве альтернативы экспертным системам появляются и 
успешно завоевывают рынок нейросетевые и нейрокомпьютер- 
ные технологии, в которых, подобно процессам, происходящим 
в мозгу, знания растворяются в межнейронных связях, а процесс 
программирования системы заменяется ее обучением. 


1.2. НАПРАВЛЕНИЯ РАЗВИТИЯ ИСКУССТВЕННОГО 
ИНТЕЛЛЕКТА 


Сегодня искусственный интеллект — это обширная область 
исследований и разработок интеллектуальных систем, предназна- 
ченных для работы в трудно формализуемых областях деятельнос- 
ти человека. Для задач, решаемых методами искусственного ин- 
теллекта, характерно наличие большого чиєла степеней свободы 
с числом вариантов поиска решений, приближающимся к беско- 
нечности. В отличие от жестко детерминированных компьютерных 
программ системы искусственного интеллекта сами ищут пути 
решения поставленной задачи. При этом они могут менять свои 
параметры и структуру, совершенствоваться и развиваться, жить 
самостоятельной, не зависящей от воли разработчика жизнью. 

Разработка интеллектуальных систем, основанных на знаниях. 
До недавнего времени это направление считалось основным и 
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наиболее плодотворным в развитии искусственного интеллекта. 
Оно связано с разработкой моделей представления знаний, со- 
зданием баз знаний, образующих ядро экспертных систем. 

Нейросетевые и нейрокомпьютерные технологии. Это направле- 
ние является альтернативным предыдущему как в идеологическом, 
так и в практическом плане. Искусственные нейронные сети и 
нейрокомпьютеры в значительной мере заимствуют принципы 
работы головного мозга. Знания в них не отделены от процессора, 
а равномерно распределены и существуют неявно в виде сил си- 
наптических связей. Такие знания не закладываются изначально, 
а приобретаются в процессе обучения. 

Распознавание образов. К распознаванию образов в искусствен- 
ном интеллекте относят широкий круг проблем: распознавание 
изображений, символов, текстов, запахов, звуков, шумов. На 
рынке программных средств имеются системы, основанные на 
распознавании по признакам, оснащенные базами данных и зна- 
ний, имеющих возможность адаптации и обучения. Однако в пос- 
леднее время становятся популярными гибридные системы, в ко- 
торых наряду с технологиями экспертных систем используются и 
нейросетевые технологии. 

Игры и творчество. Традиционно искусственный интеллект 
включает в себя интеллектуальные задачи, решаемые при игре в 
шахматы, шашки, го, каллах. В основе этого направления лежит 
один из ранних подходов — лабиринтная модель плюс эвристики. 
Кроме того, в современных программах-игроках наиболее полно 
удалось реализовать центральную идею искусственного интеллек- 
та — обучение, самообучение и самоорганизацию. 

В широком смысле слова под игрой понимается некая конф- 
ликтная ситуация, участники которой своими действиями не толь- 
ко достигают своих личных целей, но и влияют на достижимость 
целей другими участниками игры. Ясно, что под такое толкование 
игры подпадают многие экономические, политические и воен- 
ные конфликты. 

Компьютерное творчество представляет пока чисто теорети- 
ческий интерес. Наибольший прогресс достигнут в сочинении 
компьютерной музыки. Разработаны различные модели художе- 
ственного и поэтического творчества, имеющие больше познава- 
тельный, чем практический интерес. 

Компьютерная лингвистика. Начиная с 50-х гг. ХХ в. и по насто- 
ящее время одной из популярных тем исследований искусствен- 
ного интеллекта является область машинного перевода. Первая 
программа в этой области — переводчик с английского языка на 
русский. Первая идея — пословный перевод. В настоящее время 
используются более сложные структуры естественно-языковых 
интерфейсов, которые включают в себя: 

морфологический анализ — анализ слов в тексте; 
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синтаксический анализ — анализ предложений, грамматики и 
связей между словами; 

семантический анализ — анализ смысла каждого предложения 
на основе базы знаний, на которую ориентирована конкретная 
программа-переводчик; 

прагматический анализ — анализ смысла предложений в окру- 
жающем контексте с помощью базы знаний. 

Другой проблемой компьютерной лингвистики является раз- 
работка естественно-языкового интерфейса между человеком и 
машиной. Здесь немаловажную роль могут сыграть нейросетевые 
технологии, с помощью которых удается научить компьютер пра- 
вильному произношению слов. В проектах создания компьютеров 
Уи У] поколений решению этой проблемы уделено первостепен- 
ное внимание. 

Интеллектуальные роботы. Роботы — это технические устрой- 
ства, предназначенные для автоматизации человеческого труда. 
Само слово «робот» появилось в 20-х гг. ХХ в. Его автор — чешский 
писатель Карел Чапек. 

В настоящее время в промышленности применяется огромное 
количество роботов-манипуляторов, работающих по жесткой схе- 
ме управления. В отличие от них интеллектуальные роботы облада- 
ют способностью самообучаться и самоорганизовываться, адап- 
тироваться к изменяющейся окружающей обстановке. 

Компьютерные вирусы. Сегодня трудно назвать компьютерного 
пользователя, избежавшего знакомства с этим видом программ- 
ной продукции. 

Последние поколения вирусов обладают всеми атрибутами си- 
стем искусственного интеллекта. Они свободно перемещаются по 
компьютерам, мутируют и размножаются, обучаются, меняют свои 
параметры и структуру. 

Воздействие компьютерных вирусов значительно возросло с 
появлением сети Пиегтпе. По прогнозам специалистов, неприят- 
ности, которые мы испытываем сегодня, представляются нич- 
тожными по сравнению с теми перспективами, которые ожидают 
нас с проникновением компьютерных вирусов в сферу интеллек- 
туальных роботов. 

Интеллектуальное математическое моделирование. Это компь- 
ютерное математическое моделирование с использованием мето- 
дов искусственного интеллекта. 

Интеллектуальные системы подобного рода имитируют твор- 
ческую деятельность математика-профессионала, занимающегося 
решением краевых задач математической физики. Они обладают 
базами знаний, содержащими нужные теоремы, математические 
зависимости и эвристические правила, обобщающие опыт и ин- 
туицию математика-профессионала, способны к обучению с по- 
мощью учителя и к самообучению. 
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Контрольные вопросы 


1. Опишите назначение и принцип действия машины Р.Луллия. 

2. В чем суть модели лабиринтного поиска и эвристического метода? 

3. Чем отличаются нейрокибернетические методы от методов кибер- 
нетики «черного ящика»? 

4. В чем смысл терминов «восходящее» и «нисходящее» направления 
искусственного интеллекта? 

5. Что такое эволюционное программирование? 

6. Перечислите основные направления искусственного интеллекта. 

7. Что такое интеллектуальное математическое моделирование? 


ГЛАВА 2 
СИСТЕМЫ, ОСНОВАННЫЕ НА ЗНАНИЯХ 


2.1. ДАННЫЕ И ЗНАНИЯ 


При изучении искусственного интеллекта естественно возни- 
кает вопрос: «Что такое знания и чем они отличаются от дан- 
ных?». Приведем определения, заимствованные из учебника ин- 
форматики [13]. 

Данные — это отдельные факты, характеризующие объекты, про- 
цессы и явления предметной области, а также их свойства. 

При обработке на ЭВМ данные трансформируются, последо- 
вательно проходя следующие этапы: 

данные, существующие как результат измерений и наблюде- 
НИЙ; 

данные на материальных носителях информации — в табли- 
цах, протоколах, справочниках; 

структуры данных в виде диаграмм, графиков, функций; 

данные в компьютере на языке описания данных; 

базы данных. 

Знания связаны с данными, основываются на них, но представ- 
ляют собой результат мыслительной деятельности человека, обоб- 
щают его опыт, полученный в ходе практической деятельности. 
Знания — это выявленные закономерности предметной области [13]. 

При обработке на ЭВМ знания трансформируются аналогично 
данным: 

знания, существующие в памяти человека как результат обуче- 
ния, воспитания, мышления; 

знания, помещенные на материальных носителях — учебни- 
ках, инструкциях, методических пособиях, книгах; 

знания, описанные на языках представления знаний и поме- 
щенные в компьютер; . 

базы знаний. 

Для хранения данных используются базы данных. Для них ха- 
рактерны большой объем и относительно небольшая стоимость 
информации. Для хранения знаний используются базы знаний. Они, 
наоборот, отличаются сравнительно небольшими объемами, но 
исключительно дорогими информационными массивами. 

Знания могут быть классифицированы на поверхностные — зна- 
ния о видимых взаимосвязях между отдельными событиями и фак- 
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тами в предметной области, и глубинные — абстракции, анало- 
гии, схемы, отображающие структуру и процессы в предметной 
области. 

Кроме того, знания можно разделить на процедурные и деклара- 
тивные. 

Исторически первичными были процедурные знания, т.е. зна- 
ния, растворенные в алгоритмах. Они управляли данными. Для их 
изменения требовалось изменять программы. 

Рассмотрим, например, фрагмент программы на Паскале. 


Різ=- 3.14; 

в: = 20; 

5:= Рі * В * В; 

ИВТТЕЬМ (‘Площадь круга 5 =, 5). 


Первые два оператора представляют собой данные, третий опе- 
ратор — знание. Оно является результатом интеллектуальной дея- 
тельности древних геометров и представляет собой закон, выра- 
жающий площадь круга через его радиус. 

Однако с развитием искусственного интеллекта приоритет дан- 
ных постепенно изменялся и все большая часть знаний сосредо- 
точивалась в структурах данных, т.е. увеличивалась роль деклара- 
тивных знаний. 

Существуют десятки способов представления декларативных 
знаний для различных предметных областей. Большинство из них 
может быть сведено к следующим классам: продукционные; фрей- 
мы; семантические сети. 


2.2. МЕТОДЫ ПРЕДСТАВЛЕНИЯ ЗНАНИЙ 


2.2.1. Продукционные правила 


Продукционная система состоит из трех основных компонен- 
тов, схематично изображенных на рис. 2.1. Первый из них — это 
база правил типа ЕСЛИ (условие), ТО (действие): ЕСЛИ холод- 
но, ТО надеть шубу; ЕСЛИ идет дождь, ТО взять зонтик, и т.п. 

Вторым компонентом является рабочая память, в которой хра- 
нятся исходные данные к задаче и выводы, полученные в ходе 
работы системы. 

Третий компонент — механизм логического вывода, использу- 
ющий правила в соответствии с содержимым рабочей памяти. 

Рассмотрим конкретный пример. В базе правил экспертной си- 
стемы имеются два правила. 

Правило 1: ЕСЛИ «намерение — отдых» и «дорога ухабистая», 
ТО «использовать джип». 
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Механизм логического вывода. 
Сопоставление 


Модификация Поиск 


Рабочая База 
память правил 


Рис. 2.1. Блок-схема продукционной системы 


Правило 2: ЕСЛИ «место отдыха — горы», ТО «дорога ухаби- 
стая». 

Допустим, что в рабочую память поступили исходные данные: 

«намерение — отдых»; «место отдыха — горы». 

Механизм вывода начинает сопоставлять образцы из услов- 
ных частей правил с образцами, хранимыми в рабочей памяти. 
Если образцы из условной части имеются в рабочей памяти, то 
условная часть считается истинной, в противном случае — лож- 
НОЙ. 

В данном примере при рассмотрении правила 1 оказывается, 
что образец «намерение — отдых» имеется в рабочей памяти, а 
образец «дорога ухабистая» отсутствует, поэтому условная часть 
правила 1 считается ложной. При рассмотрении правила 2 выяс- 
няется, что его условная часть истинна. Механизм вывода выпол- 
няет заключительную часть этого правила, и образец «дорога уха- 
бистая» заносится в рабочую память. Правило 2 при этом выбыва- 
ет из числа кандидатов на рассмотрение. 

Снова рассматривается правило 1, условная часть которого 
теперь становится истинной, и содержимое рабочей памяти по- 
полняется образцом «использовать джип». В итоге правил, кото- 
рые можно было бы применять, не остается и система останав- 
ливается. 

В рассмотренном примере приведен прямой вывод — от дан- 
ных к поиску цели. Однако применяют и обратный вывод — от 
цели для ее подтверждения к данным. Продемонстрируем этот 
способ на нашем примере. Допустим, что наряду с исходными 
данными «намерения — отдых»; «место отдыха — горы» имеется 
цель «использовать джип». 

Согласно правилу 1 для достижения этой цели требуется вы- 
полнение условия «дорога ухабистая», поэтому условие становит- 
ся новой целью. При рассмотрении правила 2 оказывается, что 
условная часть этого правила в данный момент истинна, поэтому 
рабочая память пополняется образцом «дорога ухабистая». При 
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повторном рассмотрении правила 1 подтверждается цель «исполь- 
зовать джип». 

При обратном выводе система останавливается в двух случаях: 
либо достигается первоначальная цель, либо кончаются правила. 
При прямом выводе система останавливается только тогда, когда 
кончаются правила, либо при появлении в рабочей памяти специ- 
ально предусмотренного образца, например, «использовать джип». 

В приведенном примере на каждом этапе прямого вывода мож- 
но было использовать только одно правило. В общем же случае на 
каждом этапе вывода таких правил несколько, и тут возникает 
проблема выбора. Например, введем в рассмотрение еще одно 
правило. 

Правило 3: ЕСЛИ «намерение — отдых», ТО «нужна скорость». 

Кроме того, введем условие останова системы — появление в 
рабочей памяти образца «использовать джип». 

Теперь на первом этапе прямого вывода появляется возмож- 
ность применять либо правило 2, либо правило 3. Если сначала 
применить правило 2, то на следующем этапе можно будет при- 
менять правило 1 и правило 3. Если на этом этапе применить пра- 
вило 1, то выполнится условие останова системы, но если прежде 
применить правило 3, то потребуется еще один этап вывода. 

Этот пример показывает, что выбор применяемого правила 
оказывает прямое влияние на эффективность вывода. В реальной 
системе, где имеется множество правил, появляется проблема их 
оптимального выбора. 

Если на каждом этапе логического вывода существует множе- 
ство применимых правил, то это множество носит название конф- 
ликтного набора, а выбор одного из них называется разрешением 
конфликта. 

Аналогичная ситуация возникает и при обратном выводе. На- 
пример, дополним предыдущий пример еще одним правилом. 

Правило 4: ЕСЛИ «место отдыха — пляж», ТО «дорога ухаби- 
стая». 

Если на основании этого условия подтверждается цель «исполь- 
зовать джип», то для достижения первоначальной цели достаточ- 
но применить только одно правило 1, однако, чтобы подтвердить 
новую цель «дорога ухабистая», открывается возможность приме- 
нения правила 1, нужно использовать либо правило 2, либо пра- 
вило 4. Если сначала применить правило 2, то это будет самый 
удачный выбор, поскольку сразу же можно применить и прави- 
ло 1. С другой стороны, если попытаться применить правило 2, 
то, поскольку образца «место отдыха — пляж», который является 
условием правила 4, вр чей дамяти н не, с существует Е, кроме 
того, не существует правила. подтверждающего: его, данный вы- 
бор является неудачным: И ЛИНЬ со второге захода, применяя 
правило 2, можно подтвердить цель "лора ухабистая»: 


1“ 


К ' 


ааыл: оде 27 
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Следует обратить внимание на то, что при обратном выводе 
правило 3, которое не оказывает прямого влияния на достижение 
цели, не принималось в расчет с самого начала. Таким образом, 
для обратных выводов характерна тенденция исключения из рас- 
смотрения правил, не имеющих прямого отношения к заданной 
цели, что позволяет повысить эффективность вывода. 

Продукционная модель — это наиболее часто используемый 
способ представления знаний в современных экспертных систе- 
мах. Основными преимуществами продукционной модели явля- 
ются наглядность, высокая модульность, легкость внесения из- 
менений и дополнений, простота механизма логического вывода. 


2.2.2. Фреймы 


В психологии и философии используется понятие абстрактного 
образа. Например, слово «автомобиль» вызывает у слушающих образ 
устройства, способного перемещаться, имеющего четыре колеса, 
салон для шофера и пассажиров, двигатель, руль. Приведенное 
описание абстрактного образа «автомобиль» является минималь- 
ным и из него ничего нельзя убрать без потери его сущности. 

Фрейм — это модель абстрактного образа, минимально воз- 
можное описание сущности какого-либо объекта, явления, собы- 
тия, ситуации, процесса. Фрейм состоит из имени и отдельных 
единиц, называемых слотами. Он имеет однородную структуру: 


ИМЯ ФРЕИМА 
Имя 1-го слота: значение 1-го слота 
Имя 2-го слота: значение 2-го слота 


ооо ооо ооо ооо оо ое оо ооо оо хо ооо ооо ооо о ооо ооо ооо оо ооо соосоо 


Имя М№-го слота: значение №-го слота. 


В качестве значения слота может выступать имя другого фрей- 
ма. Таким образом фреймы объединяются в сеть. Свойства фрей- 
мов наследуются сверху вниз, т.е. от вышестоящих к нижестоя- 
щим через АКО-связи (начальные буквы английских слов «А Кша 
ОБ, что можно перевести как «это»). Слот с именем АКО указы- 
вает на имя фрейма более высокого уровня иерархии. 

Например, на рис. 2.2 фрейм «Студент» имеет ссылки на вы- 
шестоящие фреймы: «Человек» и «Млекопитающее». Поэтому на 
вопрос: «Может ли студент мыслить?» — ответ будет положитель- 
ным, так как этим свойством обладает вышестоящий фрейм «Че- 
ловек». 

Если одно и тоже свойство указывается в нескольких связан- 
ных между собой фреймах, то приоритет отдается нижестоящему 
фрейму. Так, возраст фрейма «Студент» не наследуется из выше- 
стоящих фреймов. 
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Млекопитающее 


е 
МаТЬрИя Человек 


Состоит из | костей 
АКО 
Возраст 0300 ле|| | | Возраст | __0 — 100 лет Студент 


Рост 
Умеет БЕИ 
Возраст 
Сает 


Имя Значение 
Рис. 2.2. Сеть фреймов слота слота 


Основным преимуществом фреймов как способа представле- 
ния знаний является наглядность и гибкость в употреблении. Кро- 
ме того, фреймовая структура согласуется с современными пред- 
ставлениями о хранении информации в памяти человека. 


2.2.3. Семантические сети 


В основе этого способа представления знаний лежит идея о том, 
что любые знания можно представить в виде совокупности поня- 
тий (объектов) и отношений (связей). Семантическая сеть пред- 
ставляет собой ориентированный граф, вершинами которого яв- 
ляются понятия, а дугами — отношения между ними. Сам термин 
«семантическая» означает смысловая. 

Пример семантической сети приведен на рис. 2.3. 


Университет 


Человек 


сдает экзамены 


Профессор 


Рис. 2.3. Семантическая сеть 
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Основным преимуществом этой модели является наглядность 
представления знаний, а также соответствие современным пред- 
ставлениям об организации долговременной памяти человека. 
Недостаток — сложность поиска вывода, а также сложность кор- 
ректировки, т.е. удаления и дополнения сети новыми знаниями. 


2.3. ЭКСПЕРТНЫЕ СИСТЕМЫ 


2.3.1. Предметные области 


Знания, которыми обладает специалист в какой-либо области, 
можно разделить на формализуемые и плохо формализуемые. Фор- 
мализуемые знания излагаются в книгах и руководствах в виде 
законов, формул, моделей, алгоритмов. Формализуемые знания 
характерны для точных наук, таких как математика, физика, хи- 
мия, астрономия. Науки, которые принято называть описатель- 
ными, обычно оперируют с плохо формализуемыми знаниями. 
К таким наукам можно отнести, например, зоологию, ботанику, 
экологию, социологию, педагогику, медицину и др. 

Существуют неформализуемые знания, которые вообще не по- 
падают в книги и руководства в связи с их неконкретностью, 
субъективностью, приблизительностью. Знания этого рода явля- 
ются результатом многолетних наблюдений, опыта работы, инту- 
иции. Они обычно представляют собой множество эмпирических 
и эвристических приемов и правил. Такие знания передаются из 
поколения в поколение в виде определенных навыков, ноу-хау, 
секретов ремесла. Есть также знания, которые не могут быть вы- 
ражены ни в математическом виде, ни в терминах обычного чело- 
веческого языка. Такими знаниями обладают религиозные деяте- 
ли, экстрасенсы, контактеры, шаманы. 

Класс задач, относящихся к неформализуемым и плохо фор- 
мализуемым знаниям, значительно больше класса задач, для ко- 
торых знания формализуемы. Этим объясняется особая популяр- 
ность и широкое практическое применение экспертных систем, 
которые открыли возможность применения компьютерных техно- 
логий в предметных областях, в которых знания плохо формали- 
зуемы. 


2.3.2. Обобщенная структура 


Экспертные системы — это сложные программные комплексы, 
аккумулирующие знания специалистов в конкретных предметных 
областях и тиражирующие эти знания для консультаций менее 
квалифицированных пользователей. 
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Решатель 


Интеллектуальный 
редактор 
базы знаний 


Интерфейс 
пользователя 


Подсистема 
объяснений 


Пользователь 


Инженер- 
когнитолог 


Рис. 2.4. Типичная блок-схема экспертной системы 


Обобщенная блок-схема экспертной системы представлена на 
рис. 2.4. Обычно в ее состав входят следующие взаимосвязанные 
между собой модули: 

база знаний — ядро экспертной системы, совокупность знаний 
предметной области, записанная на машинном носителе в фор- 
ме, понятной эксперту и пользователю; 

интеллектуальный редактор базы знаний — программа, пред- 
ставляющая инженеру-когнитологу и программисту возможность 
создавать базу знаний в диалоговом режиме. Она включает в себя 
системы вложенных меню, шаблонов языка представления зна- 
ний, подсказок (ћеір-режим) и других сервисных средств, облег- 
чающих работу с базой знаний; 

интерфейс пользователя — комплекс программ, реализующих 
диалог пользователя с экспертной системой на стадии как ввода 
информации, так и получения результатов; 

решатель (синонимы: дедуктивная машина, блок логического вы- 
вода) — программа, моделирующая ход рассуждений эксперта на 
основании знаний, имеющихся в базе знаний; 

подсистема объяснений — программа, позволяющая пользова- 
телю получать ответы на вопросы: «Как была получена та или 
иная рекомендация?» и «Почему система приняла такое реше- 
ние?». Ответ на вопрос «Как?» — это трассировка всего процесса 
получения решения с указанием исполняющих фрагментов базы 
знаний, т.е. всех шагов цепи умозаключений. Ответ на вопрос «По- 
чему?» — ссылка на умозаключение, непосредственно предшест- 
вовавшее полученному решению, т.е. отход на один шаг назад. 
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В коллектив разработчиков экспертной системы входят как 
минимум четыре специалиста (или четыре группы специалистов): 
эксперт, инженер-когнитолог, программист, пользователь. Воз- 
главляет коллектив инженер-когнитолог — ключевая фигура при 
разработке систем, основанных на знаниях. Обычно это руково- 
дитель проекта, в задачу которого входит организация всего про- 
цесса создания экспертной системы. С одной стороны, он должен 
быть специалистом в области искусственного интеллекта, а с дру- 
гой — разбираться в предметной области, общаться с экспертом, 
извлекая и формализуя его знания, передавать их программисту, 
кодирующему и помещающему их в базу знаний экспертной сис- 
темы. 

Экспертная система работает в двух режимах — приобретения 
знаний и решения задач или консультаций. 

В режиме приобретения знаний происходит формирование базы 
знаний. В режиме решения задач общение с экспертной системой 
осуществляет конечный пользователь. 

Обычно знания, которыми располагает эксперт, различаются 
степенью надежности, важности, четкости. В этом случае они снаб- 
жаются некоторыми весовыми коэффициентами, которые назы- 
вают коэффициентами доверия. Такие знания обрабатываются с 
помощью алгоритмов нечеткой математики. 

В процессе опытной эксплуатации коэффициенты доверия мо- 
гут подвергаться корректировке. В этом случае говорят, что проис- 
ходит обучение экспертной системы. Процесс обучения эксперт- 
ной системы может производиться автоматически с помощью 
обучающего алгоритма либо путем вмешательства инженера-ког- 
нитолога, выполняющего роль учителя. 


2.3.3. Этапы и технология разработки 


В процессе разработки экспертные системы проходят опреде- 
ленные стадии, в результате которых создаются различные вер- 
сии, называемые прототипами: 

демонстрационный прототип — экспертная система, которая 
решает часть требуемых задач, демонстрируя жизнеспособность 
метода инженерии знаний. Работает, имея в. базе знаний всего 
50... 100 правил. Время разработки такой экспертной системы — 
6... 12 мес.; 

исследовательский прототип — экспертная система, которая 
решает все требуемые задачи, но неустойчива в работе и непол- 
ностью проверена. База знаний содержит 200... 500 правил. Разра- 
ботка занимает 3...6 мес.; 

действующий прототип — надежно решает все задачи, но для 
решения сложных задач может потребоваться много времени и 
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памяти. База знаний содержит 500... 1000 правил. Время разработ- 
ки — 6... 12 мес.; 

промышленная экспертная система — обеспечивает высокое ка- 
чество решения всех задач при минимуме времени и памяти, что 
достигается переписыванием программ с использованием более 
совершенных инструментальных средств и языков низкого уровня. 
База знаний содержит 1000... 1500 правил. Время разработки — 
1...1,5 года; 

коммерческая экспертная система — отличается от промыш- 
ленной тем, что помимо собственного использования она может 
продаваться различным потребителям. База знаний содержит 
1500... 3000 правил. Время разработки — 1,5... 3 года. Стоимость — 
0,3...5 млн долларов. 

В настоящее время уже сложилась определенная технология 
разработки экспертных систем, которая состоит из следующих 
этапов, схематично изображенных на рис. 2.5. 

1. Идентификация (постановка задачи). На этапе устанавлива- 
ются задачи, которые подлежат решению, выявляются цели раз- 
работки, требования к экспертной системе, ресурсы, используе- 
мые понятия и их взаимосвязи, определяются методы решения 
задач. Цель этапа — сформулировать задачу, охарактеризовать под- 
держивающую ее базу знаний и таким образом обеспечить на- 
чальный импульс для развития базы знаний. 

2. Концептуализация. Проводится содержательный анализ про- 
блемной области, выявляются используемые понятия и их взаи- 
мосвязи, определяются методы решения задач. 

3. Формализация. Определяются способы представления всех ви- 
дов знаний, формализуются основные понятия, определяются 
способы интерпретации знаний, оценивается адекватность целям 
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Начало 


Тестирование 
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Выполнение 


Требования 


Концептуализация 


Рис. 2.5. Технология разработки экспертной системы 


23 


системы зафиксированных понятий, методов решения, средств 
представления и манипулирования знаниями. 

4. Выполнение. Осуществляется наполнение экспертом базы зна- 
ний. Процесс приобретения знаний разделяют на извлечение зна- 
ний из эксперта, организацию знаний, обеспечивающую эффек- 
тивную работу системы, и представление знаний в виде, понят- 
ном экспертной системе. Из-за эвристического характера знаний 
их приобретение является весьма трудоемким. 

5. Тестирование. Эксперт и инженер по знаниям в интерактив- 
ном режиме, используя диалоговые и объяснительные средства, 
проверяют компетентность экспертной системы. Процесс тести- 
рования продолжается до тех пор, пока эксперт не решит, что 
система достигла требуемого уровня компетентности. 

6. Опытная эксплуатация. Проверяется пригодность экспертной 
системы для конечных пользователей. По результатам этого этапа 
может потребоваться модификация экспертной системы. 

7. Модификация. В ходе создания экспертной системы почти по- 
стоянно производится ее модификация: переформулирование по- 
нятий и требований, переконструирование представления знаний 
и усовершенствование прототипа. 

Усовершенствование прототипа осуществляется в процессе 
циклического прохождения через этапы выполнения и тестирова- 
ния для отладки правил и процедур вывода. 

Переконструирование выбранного ранее способа представле- 
ния знаний предполагает возврат с этапа тестирования на этап 
формализации. 

Если возникшие проблемы еще более серьезны, то после не- 
удачи на этапе тестирования может потребоваться возврат на этап 
концептуализации и идентификации. В этом случае речь идет о 
переформулировании понятий, используемых в системе, т.е. пе- 
репроектировании системы заново. 

Приведенная последовательность разработки экспертных сис- 
тем предложена Э.А. Поповым в книге [14]. Данная технология 
отражает опыт разработки и внедрения многочисленных эксперт- 
ных систем широкого назначения. В этой же книге указываются 
трудности, характерные для каждой стадии, и даются рекоменда- 
ции по их преодолению. 


Контрольные вопросы 


1. Назовите общие и отличительные признаки данных и знаний. 

2. Назовите и охарактеризуйте известные вам методы представления 
знаний. 

3. Какой по вашему мнению метод представления знаний использует- 
ся в человеческом мозге? 

4. Приведите примеры формализованных и неформализованных зна- 
НИЙ. 
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5. Дайте определение и сформулируйте назначение экспертной систе- 
МЫ. 

6. Приведите примеры известных вам экспертных систем. 

7. Что такое оболочка экспертной системы? 

8. Каким по вашему мнению должен быть коллектив разработчиков 
экспертной системы? 

9. Перечислите и охарактеризуйте стадии и этапы разработки эксперт- 
ных систем. 


ГЛАВА З 
НЕЙРОИНФОРМАТИКА 


3.1. ПЕРСЕПТРОН И ЕГО РАЗВИТИЕ 


3.1.1. Мозг и компьютер 


На самой заре компьютерной эры в середине ХХ в. были пред- 
ложены различные варианты принципов действия и архитектур- 
ного исполнения электронно-вычислительных машин. Многие из 
этих вариантов не получили дальнейшего развития и были забы- 
ты. Наиболее плодотворной оказалась архитектура машины фон 
Неймана, которую имеет большинство современных компьюте- 
ров. Однако наряду с машиной фон Неймана до наших дней дош- 
ла еще одна схема, которая в последние годы получила стреми- 
тельное развитие и применение. Речь идет о нейросетевых и ней- 
рокомпьютерных технологиях. 

Нейронные сети и нейрокомпьютеры — это одно из направле- 
ний компьютерной индустрии, в основе которого лежит идея со- 
здания искусственных интеллектуальных устройств по образу и 
подобию человеческого мозга. Дело в том, что компьютеры, вы- 
полненные по схеме машины фон Неймана, по своей структуре и 
свойствам весьма далеки от нашего естественного компьютера — 
человеческого мозга. В подтверждение этому в табл. 3.1. приведены 
признаки, отличающие человеческий мозг от неймановского ком- 
пьютера. 

Основатели же нейрокибернетики задались целью создания 
электронных устройств, структурно и функционально адекватных 
мозгу. Но прежде чем рассматривать такие устройства, приведем 
основные сведения о принципах организации и функционирова- 
ния человеческого мозга. 

Мозг человека состоит из белого и серого вещества: белое — 
это тела нейронов, а серое — соединяющие их нервные волокна. 
Каждый нейрон состоит из трех частей: тела клетки, дендритов и 
аксона. 

Нейрон получает информацию через свои дендриты, а переда- 
ет ее дальше через аксон, разветвляющийся на конце на тысячи 
синапсов — нервных нитей, соединяющих нейроны между собой 
(рис. 3.1). Простейший нейрон может иметь до 10 000 дендритов, 
принимающих сигналы от других клеток. В человеческом мозге 
содержится приблизительно 10!! нейронов. Каждый нейрон свя- 
зан с 10°... 10* другими нейронами. Таким образом, биологическая 
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нейронная сеть, составляющая мозг человека, содержит 101“... 10' 
взаимосвязей. | 

Каждый нейрон может существовать в двух состояниях — воз- 
бужденном и невозбужденном. В возбужденное состояние нейрон 
переходит под воздействием электрических сигналов, поступаю- 
щих к нему от других нейронов, когда эти воздействия становятся 
достаточно большими. В возбужденном состоянии нейрон сам по- 
сылает электрический сигнал другим соединенным с ним нейро- 
нам. 

Нейроны взаимодействуют между собой посредством коротких 
серий импульсов продолжительностью несколько микросекунд. 
Частота импульсов составляет от нескольких единиц до сотен герц, 
что в миллион раз медленнее, чем в современных электронных 
схемах. Тем не менее, такие сложные операции, как распознава- 
ние зрительного образа, человек выполняет за несколько сотен 
микросекунд. Если учесть, что скорость выполнения операций ней- 
ронами составляет единицы микросекунд, то вся операция рас- 
познавания требует около 100 последовательных нейронных опе- 
раций. Это значит, что при распознавании образов человеческий 
мозг запускает параллельные программы, каждая из которых имеет 
не более ста шагов. Сделанный вывод известен под названием «пра- 
вило ста шагов». 


Таблица 3.1 


Сопоставление принципов построения и свойств современного 
компьютера (машины фон Неймана) и человеческого мозга 


Процессор Сложный Простой 


Высокоскоростной Низкоскоростной 
Один или несколько Большое количество 


Память Отделена от процессора Интегрирована в 
процессор 


содержанию содержанию 


По хранимым программам |По самообучающимся 
программам 


Надежность Высокая уязвимость Живучесть 
Среда фунцио- |Строго определенная Плохо определенная 
нировавия Строго ограниченная Без ограничений 
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Рис. 3.1. Нейроны человеческого мозга 


Известно, что общее число нейронов в течение жизни челове- 
ка практически не изменяется, т.е. мозг ребенка и мозг взрослого 
человека содержат приблизительно одинаковое число нейронов. 
Примерно одинаковое число нейронов содержат мозг ученого, 
политического деятеля и спортсмена. Отличие состоит в силе си- 
наптических связей, т.е. в величине электрических проводимостей 
нервных волокон, соединяющих нейроны. На этом основании была 
высказана гипотеза о том, что все наши мысли, эмоции, знания, 
вся информация, хранящаяся в человеческом мозге, закодирова- 
на в виде сил синаптических связей. Если учесть, что таких связей 
в человеческом мозге 1014... 1015, то получается, что именно такой 
размер имеет матрица кодов хранимой информации. Процесс же 
обучения человека, продолжающийся всю его жизнь, состоит в 
непрерывной корректировке содержимого этой матрицы. 


3.1.2. Математический нейрон Мак-Каллока—Питтса 


Исторически первой работой, заложившей теоретический фун- 
дамент для создания интеллектуальных устройств, не только фун- 
кционально, но и структурно моделирующих человеческий мозг, 
принято считать опубликованную в 1943 г. статью Уоррена Мак- 
Каллока и Вальтера Питтса [62]. Ее авторы выдвинули гипотезу 
математического нейрона — абстрактного устройства, моделиру- 
ющего нейрон мозга человека. Математический нейрон тоже име- 
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ет несколько входов и один выход. Через входы, число которых 
обозначим Ј, математический нейрон принимает входные сигна- 
лы х, которые суммирует, умножая каждый входной сигнал на 
некоторый весовой коэффициент и; 


Ј 
5 = У уху. (3.1) 
ј=і 


Выходной сигнал нейрона у может принимать одно из двух 
значений — нуль или единицу, которые формируются следующим 
образом: 

У = 1, если 5 > 0; (3.2) 
у = 0, если 5 < Ө, (3.3) 


где Ө — порог чувствительности нейрона. 

Таким образом, математический нейрон, как и его биологи- 
ческий прототип, существует в двух состояниях. Если взвешенная 
сумма входных сигналов 5 не достигает некоторой пороговой ве- 
личины Ө, то математический нейрон не возбужден и его выход- 
ной сигнал равен нулю. Если же входные сигналы достаточно ин- 
тенсивны и их сумма достигает порога чувствительности, то ней- 
рон переходит в возбужденное состояние и на его выходе образу- 
ется сигнал у = 1. Весовые коэффициенты и; имитируют электро- 
проводность нервных волокон — силу синаптических связей меж- 
ду нейронами. Чем они выше, тем больше вероятность перехода 
нейрона в возбужденное состояние. Логическая функция (3.2), (3.3), 
называемая активационной функцией нейрона, графически изоб- 
ражена на рис. 3.2. 

Таким образом, математический нейрон представляет собой 
пороговый элемент с несколькими входами и одним выходом. Одни 
из входов математического нейрона оказывают возбуждающее дей- 
ствие, другие — тормозящее. Каждый математический нейрон имеет 
свое определенное значение порога. На рис. 3.3 приведены схема- 
тические представления математических нейронов, связанных 
между собой в нейронную сеть. 

Математический нейрон обычно изображают кружочком, воз- 
буждающий вход — стрелкой, а тормозящий — маленьким кру- 
жочком. Рядом может записываться чис- 
ло, показывающее значение порога Ө. 

Как показано на рис. 3.4, математиче- у 
ские нейроны могут реализовывать раз- 
личные логические функции. Так, ма- 
тематический нейрон, имеющий два 
входа с единичными силами синапти- 0 
ческих связей и = и, = 1, согласно фор- 

мулам (3.1) — (3.3) реализует функцию Рис. 3.2. Пороговая актива- 
логического умножения «И» при Ө = 2 ционная функция нейрона 


29 


0 5 


ХІ Хх х х х 
9=2 0=1 90=0 
у у у 


«И» «ИЛИ» «НЕТ» 
Рис. 3.3. Схематическое изобра- Рис. 3.4. Математические нейроны, 
жение участка нейронной сети реализующие логические функции 


и функцию логического сложения «ИЛИ» при 0 = 1. Нейрон с 


одним входом, у которого и = –1, реализует логическую функцию 
«НЕТ» при Ө = 0. 


3.1.3. Персептрон Розенблатта и правила Хебба 


У. Мак-Каллок и В.Питтс предложили конструкцию сети из 
математических нейронов и показали, что такая сеть в принципе 
может выполнять числовые и логические операции. Далее они выс- 
казали идею о том, что сеть из математических нейронов в состо- 
янии обучаться, распознавать образы, обобщать, т.е. она обладает 
свойствами человеческого интеллекта. 

Идея Мак-Каллока— Питтса была материализована в 1958 г. 
Фрэнком Розенблаттом сначала в виде компьютерной программы 
для ЭВМ 1ВМ-794 [63], а затем, спустя два года, в виде электрон- 
ного устройства, моделирующего человеческий глаз [64]. Это уст- 
ройство, имеющее в качестве элементной базы модельные нейро- 
ны Мак-Каллока — Питтса и названное персептроном, удалось 
обучить решению сложнейшей интеллектуальной задачи — рас- 
познаванию букв латинского алфавита. Таким образом, удалось 
проверить основные гипотезы функционирования человеческого 
мозга и сам механизм его обучаемости. «Нельзя сказать, что мы 
точно воспроизводим работу человеческого мозга, — признавал 
Ф. Розенблатт, — но пока персептрон ближе всего к истине». 

Разберем принцип действия персептрона на примере реше- 
ния конкретных задач. На рис. 3.5 приведен один из простейших 
вариантов исполнения персептрона, предназначенного для клас- 
сификации цифр на четные и нечетные. Представим себе мат- 
рицу из 12 фотоэлементов, расположенных в виде четырех го- 
ризонтальных рядов, в каждом из которых три фотоэлемента. 
На матрицу фотоэлементов накладывается карточка с изобра- 
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жением цифры (на рис. 3.5 — это цифра 4). Если на фотоэлемент 
попадает какой-либо фрагмент цифры, то данный фотоэлемент 
вырабатывает сигнал в виде двоичной единицы, в противном слу- 
чае — нуль. На рис. 3.5 первый фотоэлемент выдает сигнал х; = 0, 
второй фотоэлемент — ж = 1 и т.д. Согласно формулам (3.1) — 
(3.3) персептронный нейрон выполняет суммирование входных 
сигналов х, помноженных на синаптические веса у, первона- 
чально заданные датчиком случайных чисел. После этого сумма 
сравнивается с порогом чувствительности Ө, также заданным слу- 
чайным образом. Цель обучения персептрона состоит в том, что- 
бы выходной сигнал у был равен единице, если на карточке 
была изображена четная цифра, и нулю, если цифра была не- 
четной. 

Эта цель достигается путем обучения персептрона, заключаю- 
щемся в корректировке весовых коэффициентов у. Если, напри- 
мер, на вход персептрона была предъявлена карточка с цифрой 4 
и выходной сигнал у случайно оказался равным единице, означа- 
ющей четность, то корректировать веса не нужно, так как реак- 
ция персептрона правильна. Однако если выход неправилен и у = 0, 
то следует увеличить веса тех активных входов, которые способ- 
ствуют возбуждению нейрона. В данном случае увеличению подле- 
жат и, №, и И др. 

Таким образом, можно сформулировать следующий итераци- 
онный алгоритм корректировки весовых коэффициентов, обес- 
печивающий обучение персептрона в нужном направлении. 

Шаг 1. Подать входной образ и вычислить выход персептрона у. 

Шаг 2, а. Если выход правильный, то перейти на шаг 1. 

Шаг 2, 6. Если выход неправильный и равен нулю, то увели- 
чить веса активных входов, например добавить все входы к соот- 
ветствующим им весам: и! + 1) = (1 + х. 

Шаг 2, в. Если выход неправильный и равен единице, то умень- 
шить веса активных входов, например вычесть каждый вход из 
соответствующего ему веса: ќї + 1) = (№) – х; 

Шаг 3. Перейти на шаг 1 или завершить процесс обучения. 


Рис. 3.5. Персептрон, классифицирующий цифры на четные и нечетные 
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В приведенном здесь алгоритме шаг 2, 6 называют первым пра- 
вилом Хебба, а шаг 2, в — вторым правилом Хебба, в честь ученого, 
предложившего этот алгоритм в 1949 г. [55]. Отметим, что правила 
Хебба удивительным образом напоминают процесс обучения ре- 
бенка методом поощрения — наказания или дрессировки живот- 
ного методом «кнута и пряника». Как и в случаях с ребенком и 
животным, алгоритм обучения персептрона за конечное число 
попыток (итераций, или эпох) может привести к цели — персепт- 
рон научится различать четные и нечетные цифры. 

Возникает вопрос: «Всегда ли алгоритм обучения персептрона 
приводит к желаемому результату?». Ответ на этот вопрос дает 
теорема сходимости персептрона, формулируемая следующим об- 
разом. 

Если существует множество значений весов, которые обеспечи- 
вают конкретное различение образов, то в конечном итоге алгоритм 
обучения персептрона приводит либо к этому множеству, либо к эк- 
вивалентному ему множеству, такому, что данное различение обра- 
зов будет достигнуто. 

Интересно отметить, что по числу выполненных доказательств 
теорема сходимости персептрона занимает одно из первых мест в 
мире [31]. Ранее самой доказанной в мире теоремой считалась те- 
орема Пифагора. 


3.1.4. Дельта-правило и распознавание букв 


Рассмотренный алгоритм обучения персептрона можно пред- 
ставить в более общей форме. Если через д обозначить требуемый 
выходной сигнал, то на каждой итерации можно рассчитывать 
разницу между требуемым ответом персептрона & и реальным зна- 
чением у, вычисляемым на его выходе: 


= = (4 – у). (3.4) 
Тогда случай ғ = 0 соответствует шагу 2, а, когда выход прави- 
лен; случай = > 0 — шагу 2, 6; случай є < О — шагу 2, в. 
Идея алгоритма обучения персептрона с помощью правил Хебба 
сохранится, если итерационный процесс вести по формулам: 


‚(1+0 = №;(0) + Ди; (3.5) 


где "(р и "(1 + 1) — соответственно старое и новое значения 
весовых коэффициентов персептрона; / — номер входного сигнала. 

Кроме того, можно получить аналогичную итерационную фор- 
мулу для подстройки порогового значения нейрона 6, если учесть, 
что его можно интерпретировать как вес дополнительного входа 
хо, значение которого равно -1: 
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Ө(7 + 1) = Ө(7) + ДӨ; (3.7) 


ДӨ = е. . (3.8) 

В итерационные формулы можно ввести коэффициент скоро- 

сти обучения п, с помощью которого можно управлять величи- 
ной коррекции весов: 


ДӨ = —п:=. (3.10) 

Алгоритм обучения персептрона с использованием этих фор- 
мул известен под названием дельта-правила. Дальнейшее разви- 
тие идеи персептрона и алгоритмов обучения связано с усложне- 
нием его структуры и развитием функциональных свойств. 

На рис. 3.6 приведена схема персептрона, предназначенного 
для распознавания букв русского алфавита. В отличие от предыду- 
щей схемы такой персептрон имеет 33 нейрона, таким образом, 
каждой букве алфавита соответствует свой нейрон. Полагается, 
что выход первого нейрона у; должен быть равен единице, если 
персептрону предъявлена буква «А», и нулю для всех остальных 
букв. Выход второго нейрона у, должен быть равен единице, если 
персептрону предъявлена буква «Б», и нулю во всех остальных 
случаях. И так далее до буквы «Я». 

Алгоритм обучения данного персептрона выглядит следующим 


образом. 
Шаг 1. Датчиком случайных чисел всем весовым коэффициен- 
там у; и пороговым значениям нейронов 0, (і = 1, ..., 33, / = 1, ..., 


12) присваиваются некоторые малые значения. 

Шаг 2. Персептрону предъявляется какая-либо буква алфавита, 
и системой фотоэлементов вырабатывается входной вектор х; (/ = 
а). 

Шаг 3. Каждый нейрон выполняет взвешенное суммирование 
входных сигналов 


Рис. 3.6. Персептрон, предназначенный для распознавания букв русско- 
го алфавита 


2 Ясницкий 33 


9; = У ух; 


ј= 
и вырабатывает выходной сигнал у; = 1, если 5, > Ө; у; = 0, если 
5; < Ө,. 

Шаг 4. Для каждого нейрона вычисляется ошибка 


=; = (4; У), 


где 4; — вектор правильных ответов персептрона (например, для 
буквы «А» 4; = 1, 4 = 0, ..., 43 = 0 ит.д.). 

Шаг 5. Производится корректировка весовых коэффициентов 
персептрона и пороговых значений нейронов: 


Ө,(7 + 1) = Ө, (2) + ДӨ,;; ДӨ, == —1;, 
где { — номер итерации, или эпохи. 
Шаг 6. Повторение шагов 2— 5 необходимое число раз. 


3.1.5. Адалайн, мадалайн и обобщенное дельта-правило 


Персептрон, схема которого приведена на рис. 3.6, предназна- 
чен для распознавания букв алфавита. Однако его можно попытать- 
ся использовать и для решения других практических задач. Напри- 
мер, обучить выполнять прогноз погоды или ставить диагнозы бо- 
лезней. Все зависит от того, какой смысл придавать входному век- 
тору х; и выходному вектору у; Круг решаемых задач значительно 
расширится, если научить персептрон выдавать не только бинар- 
ные выходные сигналы типа ноль и единица, но и аналоговые, т.е. 
имеющие непрерывные значения. Такое обобщение персептрона 
было сделано Уидроу и Хоффом [68], которые вместо ступенчатой 
(см. рис. 3.2) ввели непрерывную нелинейную функцию активации 


| 
зг (3.11) 


график которой изображен на рис. 3.7. Эту функцию назвали сиг- 
моидой из-за того, что ее графическое изображение напоминает 
латинскую букву «$». Другое название сигмоиды — логистическая 
функция. 

Подобно обычной пороговой функции активации, сигмоида ото- 
бражает точки области определения (оо, +оо) на интервал (0, +1). 
Практически сигмоида обеспечивает непрерывную аппроксима- 
цию классической пороговой функции. Для сигмоиды принято 
обозначение у = /,(5). 

Персептроны с сигмоидными активационными функциями с 
одним выходом назвали адалайн, с несколькими выходами — ма- 


у 
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Рис. 3.7. Сигмоидная актива- Рис. 3.8. Однослойный персеп- 
ционная функция у = /.(5) трон с /входами и Г выходами 


далайн (от английских слов АрАріуе Гпеаг МЕџгоп и Мапу 
АРАШМЕ). Появление персептронов с непрерывными активаци- 
онными функциями обусловило и новые подходы к их обучению. 
Уидроу и Хофф [68, 69] предложили минимизировать среднеквад- 
ратичную ошибку, определяемую как разность между требуемы- 
ми 4; и реальными у; выходными сигналами персептрона: 


І 
: -5>4 - уу. (3.12) 


Рассмотрим алгоритм коррекции весовых коэффициентов пер- 
септрона, имеющего Ј входов и / выходов (рис. 3.8). Среднеквад- 
ратичная ошибка = является многомерной функцией весовых ко- 
эффициентов, т.е. = = =(и,), и в пространстве координат у; пред- 
ставляется в виде некоторой многомерной поверхности — гипер- 
поверхности. Если оставить только две оси координат, например 
У И мә, ТО эта поверхность будет иметь вид фигуры, напомина- 
ющей параболоид (рис. 3.9), который, однако, может иметь как 
один, так и несколько миниму- 
мов. Поэтому такую поверхность =(иу) 
будем называть исевдопараболои- 
дом. Обучение персептрона мож- 
но представить как задачу отыс- 
кания такого сочетания весовых 
коэффициентов уз, которому со- 
ответствует самая нижняя точка 
гиперпсевдопараболоида. Такую за- 
дачу называют оптимизационной 
и говорят, что она состоит в ми- 
нимизации функционала ғ = є(у;) 
в пространстве параметров у. 

Существует множество мето- 
дов решения оптимизационных 


Рис. 3.9. Псевдопараболоид, изоб- 
ражающий зависимость средне- 


квадратичной ошибки ғ от весо- 
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ся случайный перебор весовых коэффициентов и’, с последующи- 
ми вычислениями и сравнениями между собой соответствующих 
этим коэффициентам функций ошибок =. Однако более эффек- 
тивным является метод градиентного спуска, согласно которому 
изменение (коррекция) каждого весового коэффициента Лу; про- 
изводится в сторону, противоположную градиенту поверхности 
гиперпсевдопараболоида, т.е. 


Га Ш (3.13) 


где п — коэффициент скорости обучения. 

Среднеквадратичная ошибка ғ является сложной функцией, за- 
висящей, в первую очередь, от выходных сигналов персептрона 
у, поэтому 

дё дё ду; 


Здесь у; = /.(5)), где 5, = Ўн ух; . Следовательно, 


дуг _ 81-051) 951 _ бух. (3.15) 


А Вы 


Кроме того, если продифференцировать (3.12) по у,, где 


п Е [1, Д, то получится — = (4, – у,), значит, 
у 


п 


дє 
— = (4, – у,). 
ду (4 – у) (3.16) 
Подставив (3.15) и (3.16) в (3.14) и затем полученное выраже- 
ние в (3.13), окончательно будем иметь 


Ду; = —" (-(а, = у, (5х, ) = (а; – Уг) Ле (5: )х;. (3.17) 
Это выражение получено для нейронов с активационными 
функциями любого вида. Однако, если (5) — сигмоида, задан- 
ная формулой (3.11), то 
1. (5;) = ((+е%)") = Л ($;)(1- 705). (3.18) 
Подставив это выражение в (3.17), получим 
Ду; = п(4; — У, ). Л, (5, (1 с 1(5;)}х; = п (а; – у,) у, А - У;)х;. (3.19) 


Итак, мы получили итерационную формулу для обучения од- 
нослойного персептрона 
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и; (1+1) =", (0 +Ам,, (3.20) 
в которой 
Ду; = 10;Х;; (3.21) 


$, = (4; – у.) (1- у). (3.22) 

Этот алгоритм называют обобщенным дельта-правилом, пре- 

имущество которого состоит в более быстрой сходимости и воз- 

можности более точной обработки входных и выходных непре- 

рывных сигналов, т.е. в расширении круга решаемых персептро- 

нами задач и возможности получения более точных и качествен- 
ных решений. 


3.1.6. Ограниченность однослойного персептрона 


Как уже отмечалось ранее, Ф. Розенблатту [63, 64] удалось обу- 
чить свой персептрон распознавать буквы алфавита. Это был ко- 
лоссальный успех. Электронное устройство, созданное по образу 
и подобию человеческого мозга, обученное подобно человеку, 
успешно моделировало интеллектуальные функции человека. Это 
был шаг вперед в познании самой природы человеческого мыш- 
ления. Мозг начал раскрывать свои тайны. Появилась возможность 
исследовать мозг методами моделирования, не прибегая к слож- 
нейшим антигуманным и мало что дающим натурным экспери- 
ментам. Это была сенсация, приковавшая к себе внимание мыс- 
лящих людей всего мира. Казалось, что ключ к интеллекту был 
найден и полное воспроизведение человеческого мозга и всех его 
функций — всего лишь вопрос времени. Ученым, инженерам, 
бизнесменам, политикам виделись самые радужные перспективы 
практического применения систем искусственного интеллекта. 
Правительство США выделило крупные субсидии на развитие 
нового перспективного научного направления. 

Между тем, класс решаемых персептронами задач расширялся. 
Делались попытки применения персептронов в задачах прогнози- 
рования, таких как предсказание погоды и курсов акций. Персепт- 
роны применялись для решения задач диагностики, таких как 
анализ электрокардиограмм и заключение врача о диагнозе бо- 
лезни пациента. По мере расширения фронта научных исследова- 
ний появились трудности. Неожиданно оказалось, что многие но- 
вые задачи персептрон решить не мог, причем эти задачи внешне 
ничем не отличались от тех, с которыми персептрон успешно 
справлялся ранее. Возникла необходимость объяснения возник- 
ших парадоксов, глубокого анализа и создания теоретической базы 
персептронов. 

Следующий период истории персептронов начался с появле- 
ния книги М. Минского и С. Пайперта «Персептроны» [27]. В этой 
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книге математически строго было доказано, что использовавшие- 
ся в то время однослойные персептроны в принципе не способны 
решать многие простые задачи. Одну из таких задач, заключающу- 
юся в реализации логической операции «Исключающее ИЛИ», 
мы рассмотрим подробно. 

«Исключающее ИЛИ» — это булева функция двух аргументов, 
каждый из которых может иметь значение «истинно» либо «лож- 
но». Сама она принимает значение «истинно», когда только один 
из аргументов имеет значение «истинно». Во всех остальных слу- 
чаях функция принимает значение «ложно»: 


у = (х АМО МОТ х,) ОК (х, АМ” МОТ х). (3.23) 


Задача состоит в том, чтобы реализовать функцию (3.23) с 
помощью однонейронного персептрона с двумя входами х; и х› и 
одним выходом у (рис. 3.10). 

Закодировав значение «истинно» единицей, а «ложно» — ну- 
лем, все возможные комбинации входных сигналов можно пред- 
ставить на плоскости х — х в виде четырех точек: А), А,, В), РВ, 
как показано на рис. 3.11. Например, точке А, соответствуют входные 
сигналы х = О их, = 0, а точке А, соответствуют входные сигналы 
х = 1и % = 1. Требуемое формулой (3.23) соответствие между 
входными и выходными сигналами персептрона сведено в табл. 3.2, 
называемую таблицей истинности логической функции. 

Согласно формулам (3.1) — (3.3) однонейронный персептрон, 
изображенный на рис. 3.10, осуществляет преобразование: 


5 = Ир + 0); (3.24) 
у= 1, если 52 Ө; (3.25) 
у = 0, если 5 < Ө. (3.26) 
Заменим в уравнении (3.24) 5 на Ө: 
их + ИХ) = Ө. (3.27) 


Если в этом уравнении величины ху и х, считать переменными, 
а Ө, и и и, — константами, то на плоскости х,—х› рассматрива- 
емое уравнение изобразится в виде прямой линии, положение и 


Х| Хх? 


у 1 ХІ 


Рис. 3.10. Однонейронный персептрон Рис. 3.11. К пояснению пробле- 
с двумя входами и одним выходом мы «Исключающего ИЛИ» 
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Таблица 3.2 
Таблица истинности функции «Исключающее ИЛИ» 


ао ОО ОО ООО 
ЗАИР ИН АА ИН ПО Е 
О И ЗА ТИВНЕ с и БЕ ИВЕ 
ПО ПО ОО ОО ООО 


наклон которой определяются значениями весовых коэффициен- 
тов у}, и и порога Ө. Для всех точек плоскости ху — х, лежащих на 
этой линии, выполняется равенство 5 = Ө, и поэтому, вследствие 
(3.25), выход персептрона равен единице. Для точек, лежащих выше 
указанной линии, выход персептрона также равен единице, а для 
точек, лежащих ниже этой линии, выход персептрона равен нулю. 
Поэтому линию, изображающую уравнение (3.27), называют по- 
роговой прямой. 

Согласно табл. 3.2 в точках А, и 4А, выход персептрона должен 
быть нулевым, а в точках В; и В, — единичным. Но для этого надо 
расположить пороговую прямую так, чтобы точки 4} и А, лежали 
ниже этой линии, а точки В и В, — выше, что невозможно. Это 
значит, что, какие бы значения ни придавались весам и пороту, 
рассмотренный персептрон в принципе не способен воспроизве- 
сти соотношение между входами и выходом, требуемое для пред- 
ставления функции «Исключающее ИЛИ». 

Помимо проблемы «Исключающее ИЛИ» в книге [27] приве- 
ден ряд других задач, в которых входы персептронов не могут 
быть разделены пороговой прямой (в многомерных случаях — плос- 
костью, гиперплоскостью). Такие задачи получили название ли- 
нейно неразделимых. 


3.1.7. Многослойный персептрон и алгоритм обратного 
распространения ошибки 


Появление книги «Персептроны» [27] вызвало шок в научном 
мире. Строгие математические доказательства М. Минского и 
С. Пайперта были неуязвимы. Всеобщий энтузиазм сменился не 
менее всеобщим пессимизмом. Правительство США прекратило 
финансирование нейропроектов, и персептроны были преданы 
забвению, длившемуся более 20 лет. 

Тем не менее, работы в области нейросетевых и нейрокомпью- 
терных технологий продолжались отдельными наиболее настой- 
чивыми исследователями. Многие понимали, что надо усложнять 
структуру персептронов, т.е. продолжать приближать компьютер- 
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Рис. 3.12. Двухслойный персептрон, реализующий функцию «Исключа- 
ющее ИЛИ» 


ную модель к оригиналу — человеческому мозгу. Оказалось, что 
проблему «Исключающее ИЛИ» можно решить с помощью двух- 
слойного персептрона, изображенного на рис. 3.12. 

Работа этого персептрона происходит по следующему алгорит- 
му. 
Нейрон № 1: 

5 = 0,5 хх + (0, 5) хх»; 
у; = 1, если 5, > Ө; 
у; = 0, если 5 < Ө. 


Нейрон № 2: 
55 = (-0,5) хх +0,5хх,; 


У = 1, если 5 > Ө; 
У = 0, если 55 < Ө. 


Нейрон № 3: 
53 =1ху+1х у; 
уз = 1, если 53 > 0; 
уз = 0, если 5; < Ө. 
С помощью этих формул легко проверить таблицу истиннос- 


ти персептрона, составленную при задании порога 0 = 0,5 (табл. 
3.3). 


Таблица 3.3 
Таблица истинности двухслойного персептрона (см. рис. 3.12) 


Советским ученым С.О.Мкртчяном [28] был разработан спе- 
циальный математический аппарат, позволяющий без обучения 
строить многослойные персептроны, моделирующие любые буле- 
вы функции. 

Многие исследователи понимали, что объединение нейронов 
в нейронные сети расширяет класс задач, решаемых персептро- 
ном, но не представляли, как такие сети обучать. Простые и изящ- 
ные правила Хебба и их обобщение — дельта-правило — годились 
только для корректировки синаптических весов нейронов выход- 
ного слоя, тогда как вопрос о настройке параметров внутренних 
нейронных слоев оставался открытым. 

Эффективный алгоритм обучения многослойных персептронов, 
открывший путь для их широкого практического применения, стал 
известен только в 1986 г., благодаря работе Румельхарта, Хилтона 
и Вильямса [65]. Интересно, что данный фундаментальный алго- 
ритм, называемый алгоритмом обратного распространения ошибки 
(БасК ргорагайоп), был предложен на один год ранее в работах 
Паркера и Ле-Кана, изданных независимо одна от другой. Более 
того, еще в 1974 г. этот простой и изящный алгоритм обратного 
распространения ошибки был защищен Вербосом в его доктор- 
ской диссертации. Однако тогда он остался незамеченным и толь- 
ко спустя более десяти лет был «переоткрыт» заново и получил 
всеобщее признание и применение. 

Рассмотрим идею алгоритма обратного распространения ошиб- 
ки, попытавшись обобщить дельта-правило для случая обучения 
двухслойного персептрона, имеющего М входов, /[ выходов и скры- 
тый слой из / нейронов (рис. 3.13). Алгоритм корректировки си- 
наптических весов нейронов выходного слоя оставим таким же, 
как для однослойного персептрона (см. формулы (3.20)— (3.22), 
заменив х; на у; 


им; (1+1) =и, (0 + Ди;; (3.28) 


Рис. 3.13. Двухслойный персептрон с М входами, / выходами и скры- 
тым слоем из / нейронов 
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6; = (4; – у) у. - у;). (3.30) 
Синаптические веса нейронов скрытого слоя попытаемся кор- 


ректировать с помощью тех же самых формул, в которых индекс і 
заменим на /, а индекс ј — на п: 


Ан = 18у; (3.31) 


б; = (4, -у,)у,1-у,). (3.32) 


Понятно, что в последнем выражении в качестве у, следует 
использовать х,. Однако неясным здесь остается вопрос о вычис- 
лении нейронной ошибки (4; – у;), которая для скрытого слоя 
неизвестна. Идея авторов рассматриваемого алгоритма состояла в 
том, чтобы в качестве этой ошибки использовать суммарные ошиб- 
ки с выходного слоя, помноженные на силы соответствующих 
синаптических связей, т.е. 


І 
(4; – у;) = У, ёги. (3.33) 
і=1 
Итак, для скрытого слоя окончательно имеем: 
Ди = 1ӧух,; (3.34) 
І 
ё; =у,(1- у;) У, ёги. (3.35) 
11 


Используя эту идею, несложно расписать алгоритм обратного 
распространения ошибки для обучения персептрона, имеющего 
произвольное число скрытых слоев. Однако прежде внесем еще 
одно изменение в модель нейрона. К сумме, которую вычисляет 
нейрон, полезно добавить некоторое число, называемое смещени- 
ем (порог, взятый со знаком минус): 


Ј 
5; = У хум; + Ио. (3.36) 
= 


Смещение и задается так же, как и синаптические веса у’, 
т.е. датчиком случайных чисел. Ввод смещения в формулу преоб- 
разования нейрона можно интерпретировать как добавление еще 
одного входного сигнала хо, который всегда равен единице. По- 
этому, чтобы не усложнять выкладки, сумму (3.36) представим в 
более компактном виде: 


аи (3.37) 


приняв ху = 1. 
Алгоритм обратного распространения ошибки распишем для 
многослойного персептрона, имеющего входной слой К = 0, несколько 
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Рис. 3.14. Многослойный персептрон (МІР — Ми! ауегРегѕерігоп) 


скрытых слоев К = 1, 2, ..., К- 1 и выходной слой К = К (рис. 3.14). 
Нейроны входного слоя математических преобразований не вы- 
полняют, а лишь передают входные сигналы нейронам первого 
слоя. Будем полагать, что каждый &-й слой содержит Н, нейронов. 
Таким образом, персептрон имеет № = Ву входов и М = Нк выхо- 
дов. В алгоритме будем использовать следующие обозначения: і — 
порядковый номер нейрона К-го слоя; / — порядковый номер ней- 
рона (К - 1)-го слоя; / — порядковый номер нейрона (А + 1)-го 
СЛОЯ. 

Шаг 1. Инициализация синаптических весов и смещений. 

В циклах по К = 1, 2, ..., Б і= 1, 2, .... НЫ] = 1, 2, ..., В, | 
синаптическим весам и смещениям и; датчиком случайных чи- 
сел присваиваются малые величины, например, из интервала от 
–1 до 1. 

Шаг 2. Представление из обучаюшей выборки очередного вход- 
ного вектора Х, = (х, х, ..., Хм). и соответствующего ему жела- 
емого выходного вектора Р, = (4, 4, ..., 4м)., где а — номер 
примера в обучающей выборке. 

Шаг 3. Прямой проход. 


В циклах по К = 1, 2, ..., К; і= 1, 2, ..., Н, вычисляются выход- 
ные сигналы 1-го нейрона в К-м слое 
(к) КО 
ее (3.38) 
ј=0 


(1) 


где УС) = ху, Хә =1, У’ =1, и выходные сигналы персептрона 


Я = ў“ 

Шаг 4. Обратный проход. 

В циклах по К = К, К - 1, ..., |; і= 1, 2, ..., Вуј= 1, 2, ..., Н | 
вычисляются синаптические веса на новой эпохе 


м (1+1) = м (0) + А0007 + 1), (3.39) 
где 
ди (1+1) = бу, (3.40) 
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причем для выходного слоя Ё = К согласно (3.30) 


500 = (4, - у) - у), 
а для всех других случаев согласно (3.35) 


Нк» 
59 = уо 6) У вере, (3.41 
1=1 
Шаг 5. Повторение шагов 2 — 4 необходимое число раз. 
Входные векторы обучающих примеров Х, и О, на втором шаге 
алгоритма обычно представляются последовательно от первого до 
последнего, т.е. а = 1, 2, ..., О, где О — общее число примеров. 
Например, в случае распознавания букв русского алфавита О = 33. 
После того как для каждого обучающего примера будут скоррек- 
тированы весовые коэффициенты персептрона, т.е. шаги 2 — 4 будут 
повторены 33 раза, на пятом шаге алгоритма вычисляется средне- 
квадратичная ошибка, усредненная по всем обучающим приме- 
рам: 


4 


12м 2 
=> (4-х). (3.42) 


Помимо среднеквадратичной ошибки может быть также оце- 
нена максимальная разность между желаемым и фактическим 
выходами персептрона: 


= = тах (|4, =). › 1=1,2,.... М, 9=1, 2, ..., О. (3.43) 


Итерационный процесс заканчивается после того, как погреш- 
ность =, вычисляемая по формулам (3.42) или (3.43), достигнет 
заданной величины, либо при достижении предельного числа эпох 
обучения. В результате персептрон обучится выполнять нужное 
отображение любого входного вектора Х, на выходной вектор Я, 
отличающийся от желаемого вектора Й, на некоторую малую ве- 
личину. 

Теперь представим себе, что на входное табло фотоэлементов 
попала карточка с какой-либо буквой, выполненной другим шриф- 
том. Фотоэлементы сформируют входной вектор Х, не совпадающий 
ни с одним из векторов из использованной обучающей выборки. 
Если шрифт, которым выполнена входная буква не слишком отли- 
чается от шрифта обучающей выборки, а персептрон хорошо спро- 
ектирован и обучен, то он вычислит вектор Ў, в котором выход 
нейрона, соответствующего представленной на вход букве, будет 
иметь максимальное значение. Таким образом, персептрон, несмот- 
ря на помехи и искажения входного образа, выдаст правильное зак- 
лючение о его принадлежности к тому или иному классу. Свойство 
персептрона правильно реагировать на входные образы, которых не 
было в обучающей выборке, называется свойством обобщения. 


|< 
5 
ЦИ 
и. 
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3.2. ВОЗМОЖНОСТИ И ОБЛАСТИ ПРИМЕНЕНИЯ 
ПЕРСЕПТРОНОВ 


3.2.1. Новый подход к методу математического 
моделирования 


С появлением алгоритма обратного распространения ошибки 
начался период широкого практического применения нейросе- 
тевых технологий для решения самых разнообразных задач. С по- 
мощью многослойного персептрона стало возможным строить 
математические модели, выполняющие сложные многомерные 
отображения входного вектора параметров Х на выходной век- 
тор У. 

Задачи подобного рода часто встречаются в самых разнообраз- 
ных, казалось бы не имеющих ничего общего областях, таких как 
промышленность, экономика, бизнес, финансы, политология, 
социология, криминалистика, медицина и т.д. Практически в каж- 
дой проблеме, решаемой прикладными науками, требуется пост- 
роить модель явления, процесса, объекта, т.е. выявить и матема- 
тически описать зависимость одного комплекса параметров от 
другого, построить математические функции, которые можно 
использовать для более глубокого анализа объекта, например, 
найти оптимальное сочетание управляющих параметров, обеспе- 
чивающих максимум целевой функции, выполнить прогнозиро- 
вание, предсказать, как будут развиваться события в зависимости 
от того или иного воздействия. 

Традиционно математические модели строились путем изуче- 
ния и использования фундаментальных законов природы. В ре- 
зультате рассмотрения этих моделей вытекали математические фор- 
мулы либо формулировки краевых задач для дифференциальных 
уравнений. 

Персептроны открыли иной подход к самой методике построе- 
ния математических моделей. Появилась возможность, не заду- 
мываясь над законами физики, химии, биологии, медицины, 
общественного развития, исходя из одного только эмпириче- 
ского опыта (обучающей выборки) строить математические мо- 
дели, которые сами извлекают эти законы и позволяют их эф- 
фективно использовать для решения широкого круга практиче- 
ских задач. 

Появился новый инструмент извлечения знаний из данных, 
позволяющий заново открывать фундаментальные законы приро- 
ды, выявлять ранее неизвестные и никогда не исследованные за- 
висимости и закономерности и активно использовать их для ре- 
шения конкретных практических задач. 
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3.2.2. Диагностика в медицине 


В средствах информации имеются сообщения об удачном опы- 
те применения нейросетей для медицинской диагностики. Рас- 
смотрим, как строятся и обучаются такие сети. 

Проведем наблюдение за тем, как врач ставит диагноз болезни 
пациента. Прежде всего он выясняет и записывает имя, возраст, 
пол, место работы, затем, как правило, измеряет давление, про- 
водит внешний осмотр, выслушивает жалобы больного, знако- 
мится с историей его болезни, результатами анализов, изучает 
электрокардиограмму. В результате у врача накапливается от 20 до 
100 и более параметров, характеризующих пациента и его состоя- 
ние здоровья. Это и есть исходные параметры, обработав которые 
с помощью своих медицинских знаний и опыта, врач делает зак- 
лючение о заболевании пациента — ставит диагноз его болезни. 

Задавшись целью смоделировать деятельность врача с помо- 
щью персептрона, мы прежде всего должны определиться с вход- 
ным вектором Хи выходным вектором У, задав их размерности, и 
условиться о содержимом каждого компонента. В векторе Хлогич- 
но предусмотреть параметры, которые врач выясняет у больного. 
Например, в качестве компоненты х; можно задать дату рожде- 
ния, в качестве х, — закодировать пол (например, нулем или еди- 
ницей), в качестве х; — вес больного, х; — артериальное давле- 
ние, х; — температуру тела и т.д. Нелишне учесть также цвет глаз, 
цвет волос, знак зодиака и другие данные, определяющие осо- 
бенности организма и, следовательно, влияющие на вероятность 
возникновения тех или иных заболеваний. В выходном векторе У 
следует закодировать все возможные диагнозы болезней, которые 
способен обнаружить врач. 

Естественно, что размерность вектора У можно существенно 
снизить, если моделировать врача, специализирующегося в узкой 
области медицины. Так, если мы выбрали врача-кардиолога, то в 
векторе Уследует кодировать только кардиологические заболева- 
ния. Например, можно принять у! = 1, если у больного инфаркт, и 
у! = 0, если инфаркта нет. Аналогично, в качестве у, можно зако- 
дировать наличие или отсутствие порока сердца, у; — ишемиче- 
ской болезни сердца и т.д. Таким образом, выходной вектор пер- 
септрона У будет состоять из множества нулей и одной или не- 
скольких единиц (если болезней несколько). Однако диагнозы 
болезней лучше кодировать по пяти-, десяти- или стобалльной 
шкале. Тогда на этапе подготовки обучающей выборки с помо- 
щью баллов можно будет учитывать степень уверенности врача в 
правильности его диагноза, а на этапе эксплуатации — вероят- 
ность правильного ответа персептрона. 

Далее следует подготовить набор обучающих примеров (обуча- 
ющую выборку). Мы воздержимся от советов по организации со- 
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вместного труда эксперта-врача и программиста, в результате ко- 
торого будет создано необходимое число обучающих примеров. От- 
метим только, что если к работе привлечь еще и паталогоанато- 
ма, исключающего ошибки диагностики врача, то появятся все 
основания надеяться, что обученный таким способом персептрон 
по качеству выставляемых диагнозов превзойдет самого врача-эк- 
сперта. 

Итак, в результате длительной работы коллектива специали- 
стов-медиков и программистов будет накоплена выборка обуча- 
ющих примеров, состоящая из множества пар векторов Х, и Р, 
(4 = 1, 2, ..., О). Теперь задача состоит в том, чтобы спроектиро- 
вать персептрон и путем обучения передать ему знания и опыт, 
содержащиеся в выборке обучающих примеров. Вопросы проекти- 
рования персептронов, т.е. подбора числа скрытых слоев, содер- 
жащихся в них нейронов и типов активационных функций, осве- 
щены в подразд. 3.3. В качестве метода обучения персептрона мож- 
но использовать рассмотренный выше алгоритм обратного рас- 
пространения ошибки. 

В результате персептрон должен научиться отображать любой 
вектор обучающей выборки Х, на вектор Ү, совпадающий (либо 
почти совпадающий) с вектором Р,. Кроме того, при появлении 
нового пациента, характеризующегося новым входным вектором 
Х, персептрон должен вычислить для него новый вектор У, со- 
держащий правильный диагноз, поставленный персептроном уже 
без помощи врача-эксперта. Другими словами, персептрон дол- 
жен уметь обобщать переданный ему опыт на новые точки пред- 
метной области — ставить диагнозы болезней новым, не встре- 
чавшимся ранее пациентам. 


3.2.3. Диагностика неисправностей сложных технических 
устройств 


Проблема диагностики неисправностей технических устройств 
считается менее сложной проблемой, чем диагностика заболева- 
ний человека. Это утверждение относится к методу математиче- 
ского моделирования, основанному на законах природы — физи- 
ки, химии, биологии и др. Дело в том, что в техническом устрой- 
стве, каким бы сложным оно ни было, всегда известно о функци- 
ональном назначении любого сколь угодно мелкого узла, что нельзя 
сказать о человеке. Естественно, что это обстоятельство является 
серьезным препятствием, осложняющим построение адекватных 
математических моделей человека традиционными способами. 
Нейронная же сеть сама извлекает необходимые знания из обуча- 
ющих примеров, сама устанавливает неизвестные законы и рас- 
крывает функциональные связи между элементами исследуемого 
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объекта. Поэтому в случае нейросетевого моделирования нет прин- 
ципиальной разницы между диагностикой заболеваний человека 
и диагностикой неисправностей технического устройства. 

Нейросетевой подход к решению задач медицинской диагнос- 
тики, рассмотренный ранее, можно почти без изменений приме- 
нить к проблеме диагностики неисправностей сложных техниче- 
ских устройств. Продемонстрируем эту идею на примере диагно- 
стики неисправностей авиационных двигателей. 

Специалисты, занимающиеся этой проблемой, устанавливают 
датчики, измеряющие параметры работы авиадвигателей во вре- 
мя полетов. Файл данных полетного мониторинга обычно содер- 
жит следующие параметры: номер полета, дату полета, общую 
наработку двигателя, температуру и давление воздуха на входе в 
двигатель, температуру и давление газа за турбиной, температуру 
лопаток, уровень и температуру масла в маслоблоке и т.д. Число 
полетных параметров может достигать сотни и более, что, кстати, 
соизмеримо с числом параметров больного при постановке диаг- 
ноза его болезни. 

После выполнения определенного числа полетов (около двух- 
сот) двигатель снимают с самолета и подвергают стендовой раз- 
борке, во время которой выявляют и устраняют его дефекты. Ха- 
рактерными дефектами авиадвигателей являются: трещина на со- 
пловом агрегате, забоины, разрушение дефлектора, стружка в 
масле и т. д. Всего их около 30 видов. 

Задача инженера-диагноста состоит в том, чтобы, используя 
данные мониторинга, выявить дефекты двигателя до его профи- 
лактической разборки. Традиционно эта задача решается путем 
применения методик, основанных на физических закономернос- 
тях: каждый дефект вызывает определенные отклонения тех или 
иных полетных параметров работы двигателя, поэтому, анализи- 
руя их характер изменения, можно сделать предположения о по- 
явлении дефектов, вызывающих эти изменения. Понятно, что ввиду 
значительных объемов информации и сложности существующих 
взаимосвязей между дефектами и измеренными параметрами за- 
дача анализа данных полетного мониторинга и выявления дефек- 
тов авиадвигателей является далеко не тривиальной и во многих 
случаях решается ненадежно и некачественно. 

Рассмотрим, как эту задачу можно решать с помощью нейро- 
сетевого моделирования. Прежде всего отметим, что во входном 
векторе персептрона Х следует предусмотреть места всем пара- 
метрам полетного мониторинга, на значения которых оказывает 
влияние появление выявляемых дефектов. Возможные дефекты 
авиадвигателя можно закодировать в выходном векторе Ус помо- 
щью традиционных нулей и единиц. Векторы желаемых выходов 
р, составляются по результатам стендовых разборок двигателей. 
В отличие от медицинской диагностики здесь нет необходимости 
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вводить многобалльную шкалу диагнозов, поскольку все диагно- 
зы в обучающей выборке имеют стопроцентную достоверность, 
т.е. ситуация аналогична случаю, когда диагноз болезни ставит 
паталогоанатом при вскрытии пациента в морге. 

Кроме того, разумно предположить, что при первых вылетах 
нового или вновь отремонтированного самолета его двигатель пол- 
ностью исправен и дефектов нет, тогда как при последних выле- 
тах самолета двигатель уже имел те самые дефекты, которые выя- 
вились при его разборке. Поэтому из всего множества параметров 
полетного мониторинга ценность для обучения нейросети имеют 
параметры первого и последнего полетов самолета. Таким обра- 
зом, для каждого двигателя, побывавшего на разборке, формиру- 
ется пара обучающих векторов АД, и О... 

Если число обучающих примеров будет достаточным, то 
правильно спроектированный многослойный персептрон обучит- 
ся надежно ставить диагнозы неисправностей авиационных дви- 
гателей, в том числе и тех, которые в обучающей выборке не 
участвовали. А если таким персептроном оборудовать бортовой 
компьютер самолета, то он будет сообщать о появлении дефекта 
двигателя в реальном времени, т.е. как только сложится соответ- 
ствующая конфигурация вектора входных параметров — результа- 
тов измерений, снимаемых во время полета самолета. Естествен- 
но, что, прежде чем попасть в кабину пилотов, сигналы персепт- 
рона должны обрабатываться компьютером, вырабатывающим 
инструкции о действиях экипажа, адекватных обнаруженному де- 
фекту двигателя. 

Существует еще одно преимущество нейросетевой диагности- 
ки перед традиционными диагностическими методиками, осно- 
ванными на явных знаниях. Специалисты, занимающиеся тра- 
диционными методами диагностики, пытаются учесть как мож- 
но больше взаимосвязей между значениями измеряемых полет- 
ных параметров и появлениями тех или иных дефектов двигателя. 
В сложных технических устройствах количество таких взаимосвя- 
зей настолько велико, а характер взаимодействий настолько сло- 
жен, что построить полную математическую модель, полностью 
адекватную моделируемому устройству, на современном этапе 
развития точных наук практически невозможно. Кроме того, в 
сложных технических устройствах существуют и такие взаимо- 
связи, о которых специалисты просто не знают. Имеются также 
взаимосвязи, о которых специалисты догадываются, но объяс- 
нить их физическую природу не могут, а потому в расчет не 
принимают. Например, известно, что дефект «стружка в масле» 
не влияет ни на один из измеряемых датчиками параметров ра- 
боты авиадвигателя, вследствие чего не существует традицион- 
ных методик, способных выявлять этот дефект. Нейросеть же 
появление стружки в масле легко обнаруживает, вызывая удив- 
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ление специалистов. Дело тут, по-видимому, в том, что, не ока- 
зывая заметного влияния на каждый отдельно взятый параметр 
двигателя, появление стружки в масле все-таки влияет на общую 
конфигурацию входного вектора, что и вызывает соответствую- 
щую реакцию нейронной сети. 


3.2.4. Нейросетевой детектор лжи 


Правду ли говорит ребенок, обычно легко определить по вы- 
ражению его лица, движению глаз, покраснению кожи. Со взрос- 
лым человеком значительно труднее. Если измерять давление кро- 
ви, то можно выяснить, что у одних людей, говорящих неправду, 
оно повышается, а у других — наоборот, понижается. То же самое 
может происходить с пульсом. 

В следственной практике МВД России [36] в настоящее время 
применяются полиграфы, система датчиков которых измеряет до 
десяти параметров, таких как пульс, артериальное давление, тем- 
пература тела, частота дыхания, электросопротивление участков 
кожи и др. Эти параметры в реальном времени отображаются на 
экране монитора в виде пульсирующих кривых. Заключение о пра- 
вильности ответа подследственного дается компьютерной програм- 
мой, анализирующей получаемые кривые с помощью набора пра- 
вил, которые обобщают исследования психологов и опыт многих 
наблюдений. 

Ненадежность заключения, производимого таким детектором 
лжи, обусловлена тем, что к разным людям, по-разному реагиру- 
ющим на стрессовые ситуации, применяется одна и та же систе- 
ма решающих правил. Поэтому помимо компьютерной програм- 
мы полиграфологи вынуждены применять систему дополнитель- 
ных, весьма трудоемких и кропотливых приемов. 

Нейросетевые технологии позволяют по-новому подойти к 
проблеме построения детектора лжи. Они дают возможность со- 
здать компьютерную программу, которая настраивается на каж- 
дого конкретного человека и учитывает индивидуальные особен- 
ности его организма. 

Принципиально задача выявления признаков лжи с помощью 
нейросетевых технологий ничем не отличается от задач диагнос- 
тики, рассмотренных в двух предыдущих подразделах. В качестве 
входного вектора персептрона Х можно использовать тот же на- 
бор параметров, что и в стандартном полиграфе. Выходной вектор 
У целесообразно принять состоящим всего из двух параметров: 
у, = 1, у = 0, если допрашиваемый человек сказал правду, и 
у = 0, у = 1, если он лжет. Можно также использовать персептрон 
с одним единственным выходом, значение которого у = 1, если 
человек говорит правду, и у = 0, если он лжет. 
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Выборка обучающих примеров формируется в результате пред- 
варительных бесед следователя с подследственным, в ходе кото- 
рых следователь задает вопросы, ответы на которые ему известны. 
Таким образом, следователь во время этих бесед снимает с под- 
следственного векторы обучающих примеров Х.и ДБ.. 

Накопив достаточное число примеров, можно научить персепт- 
рон делать заключения о правильности показаний подследствен- 
ного. Причем, поскольку персептрон обучился на примерах, сфор- 
мированных самим подследственным, то можно полагать, что зак- 
лючение персептрона будет объективно учитывать индивидуаль- 
ные особенности организма допрашиваемого. 

Приведенный способ создания настраиваемого детектора лжи 
обладает недостатком, состоящим в трудоемкости формирования 
обучающей выборки. Поэтому его можно рекомендовать для от- 
ветственных случаев, когда затраты на длительные предваритель- 
ные беседы следователя с подследственным оправданы. В других 
случаях можно рекомендовать персептрон, настроенный на неко- 
торого усредненного человека. Такой детектор лжи получается при 
использовании в качестве обучающей выборки ответов несколь- 
ких человек, относящихся к различным психологическим типам. 


3.2.5. Нейросеть-антихакер 


В средствах массовой информации появились сообщения о ряде 
успешных полицейских операций по выявлению и задержанию 
хакеров, пытавшихся взламывать запрещенные для широкого круга 
пользователей компьютерные системы. В качестве инструмента, 
позволившего обнаружить аномальную сетевую активность, вы- 
зываемую действиями хакеров, указывались нейросети. Рассмот- 
рим, в чем состоит принцип действия таких нейросетей. 

Прежде всего отметим, что поведение хакера, пытающегося 
взломать компьютерную программу, несколько отличается от по- 
ведения обычного законопослушного пользователя. Иногда хакер 
чаще, чем обычный пользователь, ударяет по одной и той же кнопке 
клавиатуры. Существуют приемы взламывания программ, связан- 
ные с определенными траекториями движения курсора мыши, 
например с многократным перемещением курсора по одной и 
той же области экрана. Поэтому, измерив параметры, характери- 
зующие стиль работы различных пользователей, можно сформи- 
ровать обучающую выборку соответствующих примеров и обучить 
нейросеть реагировать на различные сетевые отклонения, т.е. вы- 
являть аномалии сетевой активности. Параметрами, характеризу- 
ющими стиль работы пользователей, их портрет, могут быть: чис- 
ло загружаемых одновременно программ, скорость ударов по кла- 
виатуре и мыши в единицу времени, частота повторения ударов 
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по одним и тем же клавишам, характер пользования мышью и др. 
Число этих параметров определяет размер входного вектора Х и, 
соответственно, число нейронов входного слоя персептрона. На 
выходе персептрона целесообразно оставить один нейрон, значе- 
ние которого у = 0 будет означать, что за компьютером находится 
обычный пользователь, а у = | — что пользователь хакер. Затем 
необходимо создать достаточный для обучения персептрона на- 
бор портретов хакеров и обычных пользователей. Далее нужны 
обычные действия по проектированию и обучению персептрона. 
Естественно, что качество нейросети-антихакера будет зависеть 
от того, насколько высокой окажется квалификация хакеров, при- 
глашенных для создания обучающих примеров. 


3.2.6. Нейросети в банковском деле 


Банкротство фирм, кредитуемых банками, невозможность воз- 
врата ими кредитных средств не раз являлись причиной кризисов 
и банкротств весьма солидных банков. Поэтому вопрос о том, ка- 
кова степень кредитного риска, каким клиентам опасно выдавать 
кредиты, а каким нет, для любого банка является одним из самых 
главных вопросов стабильности его существования. 

Обычно клиенты банка — это частные лица и фирмы, занима- 
ющиеся различного рода бизнесом. Банки выдают кредиты под 
проценты, которые являются немаловажной статьей их доходов. 
Прежде чем принять решение о выдаче кредита, банкиры тща- 
тельно изучают и анализируют бизнес-план кредитуемого проек- 
та. В бизнес-плане обычно указывается, куда будут расходоваться 
кредитные деньги (приобретение сырья, оборудования, произ- 
водственного помещения, аренда и покупка транспортных средств 
и др.). Далее в бизнес-плане рассчитываются и указываются сроки 
и объемы ожидаемой прибыли, сроки выплат процентов и воз- 
врата всего объема кредитных денег банку. Помимо этого, банки- 
рам предоставляются всевозможные сведения о фирме-клиенте. 
Указываются дата создания и место регистрации фирмы, ее чис- 
ленный состав, количество филиалов, средний возраст работни- 
ков, уровень их образования, вид деятельности, обороты и их 
динамика, имущество, недвижимость, транспортные средства и пр. 

Эксперты кредитного отдела банка, изучив всю информацию 
о фирмах, желающих получить кредит, дают свое заключение по 
каждому проекту. Окончательное же решение о возможности вы- 
дачи кредита обычно принимает руководитель банка, учитывая 
мнения экспертов, руководствуясь своим опытом и интуицией. 

Однако в последнее время руководители многих английских 
банков стали спрашивать мнение еще и у нейронной сети. Рас- 
смотрим общие принципы создания и работы такой сети. Совет- 
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чиком английских банкиров является обычный многослойный 
персептрон. На его вход подается вектор Х, в котором кодируются 
данные о фирме, подавшей заявку на получение кредита. Такими 
данными являются: время жизни фирмы, вид ее деятельности, сред- 
ний возраст, пол, численность работников, уровень их профессио- 
нализма, число филиалов фирмы, всевозможные экономические 
показатели за несколько лет. Персептрон имеет один выходной ней- 
рон, который по многобалльной шкале вычисляет степень живуче- 
сти, а следовательно, и платежеспособности фирмы. 

Персептрон — советчик банкиров обучался на примерах, взя- 
тых из собранных с английской тщательностью архивных матери- 
алов нескольких банков, в которых был отражен многолетний опыт 
их кредитной деятельности: параметры фирм, некогда получав- 
ших кредиты, и, самое главное, результат сотрудничества с бан- 
ком — своевременность выплаты процентов и возврата кредита. 
По свидетельству банкиров, применивших нейронную сеть, она 
помогла им выявить ряд потенциальных неплательщиков и скор- 
ректировать финансовую политику банков. 


3.2.7. Прогнозирование валютных курсов и котировок 
ценных бумаг 


Прогнозирование — это одна из самых востребованных задач, 
возникающих в различных областях человеческой деятельности. 
Задача прогнозирования в общем случае состоит в получении бу- 
дущих значений каких-либо параметров на основе анализа имею- 
щихся значений этих параметров. Обычно речь идет о прогнозиро- 
вании временного ряда, т.е. совокупности значений прогнозиру- 
емого параметра на некотором интервале времени [Т(и + 1); 
Ги + К], где К — интервал прогнозирования. При этом Ги) — 
текущий момент времени. Часто возникает необходимость пред- 
сказать не значения самого временного ряда, а вероятность того 
или иного характера его поведения на заданном интервале, т.е. 
будет ли он возрастающим, убывающим или прогнозируемый 
параметр будет находиться в определенных пределах. 

Существуют различные подходы к решению задач прогнозиро- 
вания — от построения сложнейших нестационарных математи- 
ческих моделей, учитывающих физические, химические, биоло- 
гические и другие законы природы, до статистических методик 
поиска зависимостей прогнозируемых параметров от времени. 
Однако в последнее время с традиционными подходами успешно 
конкурируют нейросетевые технологии, которые особенно хоро- 
шо себя зарекомендовали при прогнозировании финансовых рын- 
ков: котировок ценных бумаг и валютных курсов, а также общих 
экономических индексов, таких как индекс Доу Джонса и др. 
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Рассмотрим пример применения нейросети для прогнозирова- 
ния на три дня вперед курса американского доллара по отноше- 
нию к российскому рублю. На рис. 3.15 представлена номограмма, 
изображающая изменения курса доллара США с марта по май 
2003 г. Выборку обучающих примеров можно сформировать с ис- 
пользованием метода скользящих окон, согласно которому вы- 
бирается временной интервал, например 45 дней — с 4 марта до 
17 апреля. В качестве х! задается курс доллара, который был 4 мар- 
та, х — курс на 5 марта и так далее, в качестве х’; — курс на 
17 апреля. В качестве желаемого выхода сети 4, принимается курс 
доллара на 18 апреля, 4, — курс на 19 апреля, 4; — курс на 20 
апреля. Таким образом будет сформирован первый обучающий 
пример Х, — В, для персептрона, имеющего 45 нейронов входного 
слоя и 3 нейрона выходного слоя. 

Для формирования второго обучающего примера сдвинем окно 
на одну позицию (один день) вправо и выполним аналогичные 
операции. Перемещая окно О раз, мы получим выборку из О обу- 
чающих примеров. Далее следует определиться с количеством внут- 
ренних слоев и нейронов персептрона (см. подразд. 3.3) и выпол- 
нить обучение, например методом обратного распространения 
ошибки. Проверить качество получившейся прогностической про- 
граммы, оценить точность прогноза можно на тестовых выбор- 
ках, которые легко получить, располагая окна таким образом, 
чтобы в них не попадали использованные при обучении даты. 
Программа выполнит прогноз на три дня вперед, если окно рас- 
положить в самом конце номограммы, т.е. таким образом, чтобы 
в качестве х.; был курс доллара на сегодняшний день. 
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Рис. 3.15. Номограмма изменения курса американского доллара 
к российскому рублю за март — май 2003 г. 


54 


Как известно, качество прогностических программ зависит от 
полноты учета факторов, влияющих на прогнозируемый параметр. 
На курс доллара США влияет политическая и экономическая об- 
становка в Америке, России, странах Европы, Азии и других кон- 
тинентов, наличие или отсутствие военных конфликтов на пла- 
нете, президентских выборов, террористических актов, стихий- 
ных бедствий. На курс доллара влияют также погодно-климати- 
ческие изменения, эффект начала и конца рабочей недели, меся- 
ца, года, наличие праздников. Наконец, на курс доллара оказы- 
вают влияние явления космической природы. Всплески солнеч- 
ной активности, магнитные бури вызывают изменение самочув- 
ствия, психологического состояния, жизненной активности мно- 
гих людей. Естественно, это сказывается на экономическом со- 
стоянии отдельных фирм, регионов, стран, подвергшихся косми- 
ческим воздействиям. Барометром, фиксирующим такие измене- 
ния, служат курсы валют и котировки акций, общие экономиче- 
ские индексы. Все они являются функциями огромного количе- 
ства переменных, и их значения формируются в результате со- 
вместного действия множества разнообразных зависимостей и за- 
кономерностей, выявить и изучить которые традиционными спо- 
собами не представляется возможным. 

Рассмотрим, как эти вопросы можно решать с помощью ней- 
росетевых технологий. Например, чтобы учесть эффект начала и 
конца рабочей недели, можно добавить в персептроне один вход- 
ной нейрон, в качестве входного сигнала которого задать едини- 
цу, если прогнозируемый день является понедельником, двойку, 
если он приходится на пятницу, и ноль при любом другом дне 
недели. Аналогично, путем введения новых входных нейронов, 
можно учесть баллы солнечной активности, фазы Луны, эклип- 
тические долготы планет, их положения в знаке, терме, фасе, их 
скорости и склонения и другие астрономические и астрологиче- 
ские события, приходящиеся на рассматриваемый период време- 
ни. Естественно, что многие из этих параметров не являются зна- 
чащими, т.е. не влияют на интересующие нас прогнозируемые ве- 
личины. Решить вопрос о значимости того или иного фактора мож- 
но, опять же, с помощью нейросети, наблюдая за тем, приводит 
ли введение соответствующего входного нейрона к уменьшению 
ошибки прогноза на тестовых примерах. 

Подводя итог изложенному, отметим, что в настоящее время 
брокерами, финансовыми игроками, экономистами, бизнесме- 
нами разных стран активно используются нейросети, учитываю- 
щие множество факторов, в том числе и астрологических. 

Нейросети стали незаменимым инструментом для выявления 
и использования скрытых, не известных ранее и никогда не ис- 
следованных закономерностей, в результате чего многие науки, 
называвшиеся ранее неофициальными, например финансовая 
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астрология, получили мощный толчок для теоретических и при- 
кладных исследований. 


3.2.8. Задачи, решаемые с помощью нейросетей 


Список примеров практического применения нейросетевых 
технологий можно во много раз увеличить. Однако и те немногие 
приведенные выше примеры убедительно показывают, что мы 
имеем универсальный и весьма эффективный инструмент для 
построения математических моделей самых разнообразных физи- 
ческих, технических, химических, экономических, социальных 
и другого рода объектов, процессов, явлений. Исследуя эти моде- 
ли, мы можем решать широкий круг разнообразных практических 
задач. Так, если нам удалось построить математическую модель 
какого-то сложного технологического процесса, например, вып- 
лавки стали в мартеновской печи, или крекинга нефти в хими- 
ческом реакторе, или производства электроэнергии на атомной 
электростанции, то, исследуя математическую модель, изучая 
влияние входных параметров на выходные, можно решить задачу 
оптимизации моделируемого технологического процесса. Это зна- 
чит, что можно подобрать оптимальное сочетание входных пара- 
метров, обеспечивающих максимально высокое качество выплав- 
ляемой стали, рассчитать наиболее благоприятный ход химиче- 
ской реакции крекинга нефти, выбрать наиболее эффективный 
режим работы атомной станции. 

Аналогично решаются задачи оптимизации в сфере бизнеса, 
экономики. В этом случае выходом нейронной сети может быть 
некая целевая функция, имеющая смысл экономической эффек- 
тивности предприятия, валового продукта, прибыли или рента- 
бельности фирмы. 

Если математическая модель является нестационарной, т.е. со- 
ставлена с учетом фактора времени, то ее можно использовать 
для решения задач прогнозирования. Это значит, что с помощью 
математической модели можно узнать, какими будут технологи- 
ческие, экономические, социальные, политические и другие по- 
казатели моделируемого объекта в будущем и как на них можно 
повлиять, принимая те или иные меры сегодня. 

Если математическая модель работает в реальном режиме вре- 
мени, т.е. оперативно получает сведения о текущих изменениях 
параметров моделируемого объекта, если результаты математи- 
ческого моделирования могут быть оперативно переданы опера- 
тору, управляющему объектом, или могут быть непосредственно 
введены в приборы, например, дозирующие подачу кокса, руды, 
кислорода и других химических компонентов в мартеновскую печь 
либо управляющие параметрами работы ядерного реактора, то 
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такая математическая модель будет решать задачу управления мо- 
делируемым объектом или процессом. 

Помимо перечисленных задач оптимизации, прогнозирования 
и управления персептрон, как было показано выше, может ре- 
шать задачи распознавания и классификации образов, причем под 
образами понимаются зрительные изображения, символы, тек- 
сты, запахи, звуки, шумы. 

Отметим, что во всех примерах построения математических 
моделей с помощью нейросетевых технологий не требовалось зна- 
ние и использование законов природы. Вместо этого нужно было 
подготовить обучающую выборку, содержащую статистические 
данные о предметной области. Если эта выборка оказывается до- 
статочно репрезентативной (представительной), то нейросеть сама 
извлекает закономерности, необходимые для формирования ма- 
тематической модели, адекватной рассматриваемой предметной 
области. В этом отношении методика построения нейросетевых 
моделей напоминает методику построения регрессионных моде- 
лей. Последние, как известно, основаны на методе наименьших 
квадратов, позволяющем получать математические формулы, ап- 
проксимирующие статистические данные. Однако в отличие от 
регрессионных, нейросетевые технологии представляют собой 
значительно более мощный и универсальный математический 
аппарат. Кроме того, не надо забывать, что в его основе лежит не 
просто математический трюк, а глубокий физический, психоло- 
гический и общефилософский смысл, о котором достаточно мно- 
го говорилось в начале данной главы. 


3.2.9. Невербальность и «шестое чувство» нейросетей 


Нейронная сеть (нейросеть) — это система, выполненная по 
образу и подобию человеческого мозга. Естественно, что она на- 
следует его свойства, причем как положительные, так и отрица- 
тельные. 

Как и человеческий мозг, нейросеть способна извлекать знания 
из данных, обнаруживать скрытые в них закономерности. Но, как и 
человек, нейросеть не способна объяснять, как она это делает. 

Архимед открыл свой закон, лежа в ванне, Ньютон — наблю- 
дая за падением яблока. Тот и другой гениальным образом догада- 
лись, нашли истину, не объяснив, как они это сделали. 

Нейросеть, извлекая знания из данных, тоже способна выво- 
дить закономерности, делать догадки, открывать законы природы. 
Но, так же, как и человек, нейросеть не способна к четкой фор- 
мулировке пунктов алгоритма, позволившего сделать то или иное 
умозаключение. 

Согласно современным эзотерическим теориям, гений в мо- 
мент озарения считывает информацию из параллельных миров. 
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Нелепо было бы утверждать, что нейросеть в момент извлечения 
знаний из данных проделывает аналогичную операцию. Потому 
моделирование деятельности мозга дает нам основания возразить 
против эзотерической теории познания. По-видимому, многое из 
того, что демонстрируют экстрасенсы, контактеры, шаманы, 
можно объяснить свойством мозга извлекать информацию из не- 
полных данных — свойством, которое удается моделировать с 
помощью нейронных сетей. 

Известны случаи, когда нейросети демонстрируют феномен, 
называемый в жизни шестым чувством. Они с успехом извлекают 
знания из анализа информации, из которой, казалось бы, эти 
знания извлечь невозможно. В подразд. 3.2.3 был приведен один из 
таких примеров, касающийся диагностики неисправностей авиа- 
ционных двигателей по совокупности их полетных параметров. 
Феномен заключается в том, что помимо всех прочих нейросеть 
диагностирует и такие неисправности, которые традиционными 
диагностическими методами, основанными на законах физики, 
выявить не представляется возможным. Так, дефект «стружка в 
масле» считается побочным и обнаруживается только после вскры- 
тия авиадвигателя на испытательном стенде. Этот дефект не выяв- 
ляется традиционными диагностическими методами, поскольку 
его наличие, по мнению специалистов, никак не влияет ни на 
один снимаемый с авиадвигателя полетный параметр. Тем не ме- 
нее, несмотря на отсутствие какой-либо логической связи между 
этим дефектом и параметрами работы авиадвигателя, нейросеть 
обнаруживает скрытую от обычных (вербальных) методов диаг- 
ностики закономерность и ставит правильный диагноз относи- 
тельно наличия или отсутствия стружки в масле. 

Феномены подобного рода в практике применения нейросете- 
вых технологий не являются редкостью. Особенно часто они на- 
блюдаются при исследовании достаточно сложных объектов, ког- 
да нейросети выявляют связи и закономерности, о существова- 
нии которых специалисты, создавшие объект, не знают. Выявля- 
ются даже такие взаимосвязи и взаимные влияния, которые при 
поверхностном рассмотрении противоречат здравому смыслу спе- 
циалистов и становятся понятными и объяснимыми только после 
более тщательного изучения объекта. 

Таким образом, мы вправе заявить о наличии у нейросетей 
свойства, обычно называемого в жизни шестым чувством, — 
способности принимать правильные решения, алгоритм приня- 
тия которых с точки зрения известных истин объяснить не пред- 
ставляется возможным. 

Невербальность знаний и «шестое чувство» нейросетей — это 
качества, вытекающие из самой их природы. Нет ничего удиви- 
тельного в том, что нейросети, представляющие собой модель 
человеческого мозга, наследуют его свойства. Человеческий мозг 


58 


по своей сути является невербальным объектом. В процессе эволю- 
ции тысячелетиями от мозга требовалось обрабатывать поступаю- 
щую информацию, делать из нее выводы и принимать решения. 
Но при этом не требовалось давать каких-либо объяснений. По- 
гребность в вербализации человеческих умозаключений появилась 
голько в Последнее тысячелетие, и далеко не каждый современ- 
ный человек обладает способностью объяснять все свои поступки. 
Многие наши действия совершаются под влиянием эмоций, 
«шестого чувства», не имеющего логических объяснений. И, воз- 
можно, дальнейшая эволюция человеческого мозга приведет его 
к еще более совершенной структуре, в которой алгоритм приня- 
тия решений и сами знания будут храниться в прозрачной для 
понимания форме. Но пока мы моделируем мозг, в котором зна- 
ния закодированы в виде матрицы сил синаптических связей. 
В отличие от экспертных систем, где имеется возможность про- 
следить всю цепочку логического вывода, мы не можем спросить 
нейросеть, почему она пришла к тому или иному выводу. Есте- 
ственно, что это является недостатком нейросетевых технологий, 
преодолением которого занимаются некоторые исследователь- 
ские группы. Так, в работах [6, 7] предложена методика вербали- 
зации нейросетевых знаний, заключающаяся в последовательном 
упрощении (редуцировании) сети до такой степени, при которой 
она становится прозрачной для понимания выполняемых ею дей- 
ствий. Авторы методики привели интересный пример вербализа- 
ции знаний нейросети, обученной прогнозированию результатов 
выборов президента США. Сеть редуцировалась до тех пор, пока 
число входных сигналов каждого нейрона не уменьшилось до трех. 
В результате закономерность, которую нейросеть извлекла из обу- 
чающей выборки, удалось описать в виде логической формулы. 

1. Президент США потерпит поражение на выборах, если его 
правление было «плохое» или «ситуация политически нестабильна». 

2. Правление президента было «плохое», если верны хотя бы 
два из следующих высказываний: «Имеет место серьезная конку- 
ренция при выдвижении от правящей партии», «Год выборов яв- 
ляется временем спада или депрессии», «Правящий президент не 
произвел существенных изменений в политике». 

3. «Ситуация политически нестабильна», если верны хотя бы 
два из следующих высказываний: «В год выборов активна третья 
партия», «Имеет место серьезная конкуренция при выдвижении 
от правящей партии», «Во время правления были существенные 
социальные волнения». 

Следует однако заметить, что в других случаях редуцирование 
нейросетей не приводит к желаемому результату из-за существен- 
ного понижения качества их работы. 

По мнению многих специалистов в области искусственного 
интеллекта, человеческий мозг, являясь самой сложной из изве- 
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стных в природе систем, «не хочет раскрывать своих тайн». Подво- 
дя итог приведенным рассуждениям, отметим, что последняя фраза 
может быть отнесена и к модели человеческого мозга — нейрон- 
ным сетям. Но это совсем не значит, что их удивительными свой- 
ствами не следует пользоваться. 


3.3. ПРОЕКТИРОВАНИЕ И ОБУЧЕНИЕ ПЕРСЕПТРОНОВ 


3.3.1. Теоремы существования 


Из предыдущего изложения следуют два важных вывода. 

1. Подавляющее большинство всех прикладных задач, решае- 
мых методом математического моделирования, сводится к нахож- 
дению некоторой сложной функции, осуществляющей многомер- 
ное преобразование вектора входных параметров Х на вектор вы- 
ходных параметров 7. 

2. Универсальным инструментом построения такой функции 
являются нейросетевые технологии. 

Естественно, возникают вопросы: всегда ли можно построить 
нейросеть, выполняющую преобразование, заданное любой обу- 
чающей выборкой, и каким требованиям эта нейросеть должна 
удовлетворять? 

Чтобы ответить на эти вопросы, надо вспомнить, что каждый 
нейрон нейронной сети выполняет суперпозицию (суммирование) 
сигналов, поступающих от других нейронов, которые в тех других 
нейронах прошли через нелинейное (например, сигмоидное) пре- 
образование. Вопрос о том, можно ли любую функцию многих 
переменных представить в виде суперпозиции функций меньшего 
количества переменных, интересовал математиков на протяже- 
нии нескольких последних веков. Так, в 1900 г. на Всемирном ма- 
тематическом конгрессе в Париже знаменитым немецким мате- 
матиком Давидом Гильбертом были сформулированы 23 пробле- 
мы, которые он предложил решать математикам начинающегося 
ХХ в. Одна из этих проблем, под номером тринадцать, деклариро- 
вала невозможность такого представления. 

Однако последующие исследования показали, что 13-я проб- 
лема Д. Гильберта имеет иное решение. В результате многолетней 
дискуссии между советским академиком А. Н. Колмогоровым |19, 
20] и его учеником В. И. Арнольдом [1] были получены фундамен- 
тальные теоретические результаты, свидетельствующие о прин- 
ципиальной возможности представления непрерывных функций 
нескольких переменных в виде суперпозиции функций меньшего 
числа переменных. Затем Хехт-Нильсеном [56, 57] эти результаты 
были переработаны применительно к нейронным сетям. В частно- 
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сти, было доказано, что для любого множества пар отличных между 
собой входных и выходных векторов произвольной размерности 
(Х, 2), 9 = 1, ..., О существует двухслойный персептрон с сиг- 
моидными передаточными функциями и с конечным числом ней- 
ронов, который для каждого входного вектора Х, формирует со- 
ответствующий ему выходной вектор Д.. Таким образом, была до- 
казана принципиальная возможность построения нейросети, вы- 
полняющей преобразование, заданное любой обучающей выбор- 
кой различающихся между собой примеров, и установлено, что 
такой универсальной нейросетью является двухслойный персепт- 
рон (т.е. персептрон с одним скрытым слоем) с конечным чис- 
лом нейронов и сигмоидными передаточными функциями. 

Для определения необходимого числа нейронов в скрытых слоях 
персептрона была предложена формула, являющаяся следствием 
теорем Арнольда — Колмогорова — Хехт-Нильсена: 


№,О 
1 + 102, О 


где № — размерность выходного сигнала; О — число элементов 
обучающей выборки; №, — необходимое число синаптических ве- 
сов; №, — размерность входного сигнала. 

Оценив с помощью этой формулы необходимое число синап- 
тических весов, можно рассчитать число нейронов в скрытых сло- 
ях. Например, число нейронов скрытого слоя двухслойного пер- 
септрона 


< М, < М, 2. т, +№, +1) +, (3.44) 


М 
Меи 
№ + №, (3.45) 


3.3.2. Проблемы и методы проектирования 


Теоретически для построения нейросетевой модели любого 
сколь угодно сложного объекта достаточно использовать персепт- 
рон с одним скрытым слоем сигмоидных нейронов, число кото- 
рых определяется формулами (3.44), (3.45). Однако в практиче- 
ских реализациях персептронов как количество слоев, так и число 
нейронов в каждом из них часто отличаются от теоретических. 
Иногда целесообразно использовать персептроны с большим чис- 
лом скрытых слоев. Такие персептроны могут иметь меньшие раз- 
мерности матриц синаптических весов, чем двухслойные персеп- 
троны, реализующие то же самое преобразование. 

Строгой теории выбора оптимального числа скрытых слоев пер- 
септронов пока нет. На практике же чаще всего используются пер- 
септроны, имеющие один или два скрытых слоя, причем число 
нейронов в скрытых слоях обычно колеблется от №, до 3 №,. 
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При проектировании персептронов необходимо понимать, что 
персептрон должен не только правильно реагировать на приме- 
ры, на которых он обучен, но и уметь обобщать приобретенные 
знания, т.е. правильно реагировать на примеры, которых в обуча- 
ющей выборке не было. Чтобы оценить способность сети к обоб- 
щению, помимо обучающей выборки примеров Х— Д в рассмот- 
рение вводят некоторое количество тестовых примеров Хт— От, 
которые относятся к той же самой предметной области, но в про- 
цессе обучения не участвуют. После обучения вычисляют средне- 
квадратичную погрешность между прогнозом сети Уи желаемым 
выходом сети Вили От. Среднеквадратичная погрешность персеп- 
трона, вычисленная на обучающей выборке Х— Б, называется по- 
грешностью обучения, обозначаемой є, а вычисленная на тестовой 
выборке Хт— Ву — погрешностью обобщения, обозначаемой єг. При 
увеличении числа нейронов внутренних слоев персептрона М по- 
грешность обучения = обычно падает, тогда как погрешность обоб- 
щения ғу сначала падает, а затем, начиная с некоторого опти- 
мального значения № = №, возрастает. Характерные кривые зави- 
симости погрешностей обучения и обобщения от числа нейронов 
внутренних слоев персептрона приведены на рис. 3.16. 

Поведение этих кривых легко объяснить, если воспользоваться 
аналогией с аппроксимацией набора данных полиномами мето- 
дом наименьших квадратов. Как известно, задача аппроксимации 
состоит в том, чтобы подобрать полином, наиболее правильно 
отражающий характер закономерности, представленной графи- 
чески точками предметной области. На рис. 3.17 точки, соответ- 
ствующие некоторым параметрам предметной области, изобра- 
жены в системе координат х— у в виде двенадцати черных и белых 
кружков, причем точки, отмеченные черными кружками, исполь- 
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Рис. 3.16. Характерные зависимос- Рис. 3.17. Аппроксимация данных 

ти погрешности обучения є и по- предметной бласти с помощью по- 

грешности обобщения =т от числа линомов первого (кривая /), вто- 

нейронов внутренних слоев персеп- рого (кривая 2) и пятого (кривая 3) 
трона порядков 
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зовались при определении коэффициентов аппроксимирующих 
полиномов, а точки, отмеченные белыми кружками, не исполь- 
зовались, поэтому по ним можно судить о качестве аппроксима- 
ции. Выражаясь терминами нейросетевых технологий, черные круж- 
ки можно назвать обучающими примерами, а белые — тестирую- 
ЩИМИ. 

Кривая 1 изображает результат аппроксимации полиномом 
первой степени, кривая 2 — полиномом второй степени, 3 — 
полиномом пятой степени. Как видно из рис. 3.17, использование 
полинома первой степени не дает хорошей аппроксимации зако- 
номерности предметной области. Кривая, соответствующая поли- 
ному пятой степени, в точности проходит через все черные круж- 
ки, т.е. имеет нулевую погрешность обучения =, тогда как тесто- 
вые белые кружки остаются в стороне. 

Это означает, что свойством обобщения данная кривая не об- 
ладает. Наименьшую погрешность обобщения =г имеет кривая 
второго порядка, которая для данной предметной области явля- 
ется оптимальной. 

Подводя итог проводимому сравнению, отметим, что нейро- 
сети, как и регрессионные модели, выстраивают функции, ап- 
проксимирующие точки предметной области, причем для каждой 
решаемой задачи существует некоторое оптимальное значение 
степеней свободы математической модели. В случае полиномиаль- 
ной аппроксимации степенями свободы являются определяемые 
коэффициенты (число которых на единицу больше порядка поли- 
нома). Число степеней свободы персептрона — это общее число 
синаптических весов (и порогов), которое определяется числом 
нейронов скрытых и выходных слоев. Свойство нейросети терять 
способность к обобщению при чрезмерном увеличении числа ее 
степеней свободы называют переобучением, или гиперразмерностью 
нейросети. 

Итак, при проектировании персептронов существует пробле- 
ма выбора необходимого числа нейронов. Число нейронов вход- 
ного слоя персептрона должно совпадать с размерностью вектора 
входных параметров Х, который определен условиями решаемой 
задачи. Число нейронов выходного слоя должно совпадать с раз- 
мерностью выходного вектора Ү, что также определено условия- 
ми задачи. Число скрытых слоев персептрона согласно теоремам 
Арнольда — Колмогорова — Хехт- Нильсена должно быть не менее 
одного. Число нейронов в скрытых слоях может быть приближен- 
но оценено по формулам (3.40), (3.41), однако его желательно 
оптимизировать для каждой конкретной задачи. 

Существуют два способа оптимизации числа нейронов в скры- 
тых слоях — деструктивный и конструктивный. Деструктивный 
способ заключается в том, что первоначально строится сеть с за- 
ведомо избыточным числом степеней свободы, а затем в процессе 
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обучения из нее постепенно исключаются лишние синаптические 
связи и нейроны. 

Существует довольно большое многообразие алгоритмов ис- 
ключения избыточных степеней свободы нейросети. Наиболее про- 
стой из них состоит в обнулении тех синаптических весов, кото- 
рые в процессе обучения нейросети стали значительно меньше их 
среднего значения. Однако малые значения синаптических весов 
не обязательно оказывают наименьшее воздействие на поведение 
нейронов и сети в целом. Поэтому более удачными признаются 
способы редукции сети, учитывающие ее чувствительность к струк- 
турным и параметрическим вариациям. Во многих современных 
нейропакетах запрограммированы эвристические алгоритмы, ко- 
торые, производя последовательное исключение нейронов в скры- 
тых слоях и отслеживая влияние таких исключений на погреш- 
ность обучения ғ и погрешность обобщения єт, позволяют подо- 
брать структуру сети, обладающую наилучшими эксплуатацион- 
ными качествами. 

Существуют также приемы, провоцирующие самостоятельное 
уменьшение значений весов с тем, чтобы исключить их, как только 
их величина опустится ниже установленного порога. Тенденцию к 
снижению синаптических весов можно вызвать, добавляя к целе- 
вой функции (3.12) слагаемые, штрафующие за большое значе- 
ние веса. Такой штрафной ни может быть слагаемое 
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рой штрафной функции РР. тиз к снижению наблюдается не у 
всех синаптических весов, а только у тех, которые действительно 
следует исключить [53]. 

Общим недостатком деструктивных алгоритмов является зна- 
чительная длительность их работы, поскольку первоначальные 
вычисления производятся в сетях, имеющих избыточное количе- 
ство нейронов. Этого недостатка лишены альтернативные конст- 
руктивные алгоритмы, которые предполагают постепенное добав- 
ление нейронов к сети, в которой их заведомо недостаточно. Но- 
вые нейроны добавляются каждый раз после определенного числа 
эпох обучения, а синаптическим весам и порогам новых нейро- 
нов присваиваются случайные числа. Поэтому после каждого до- 
бавления нового нейрона текущая погрешность обобщения ней- 
росети ғт резко увеличивается, но после нескольких эпох обуче- 
ния становится меньше той, которая была до добавления нейрона. 
Однако, начиная с некоторого момента времени 1, добавление 
новых нейронов перестает способствовать уменьшению ошибки 
єт, а, наоборот, приводит к ее увеличению, что свидетельствует о 
наступлении эффекта гиперразмерности (переобучения). Харак- 
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'срная кривая зависимости по- 
грешности обобщения от времени 
приведена на рис. 3.18. Очевидно, 
иго в момент времени, предше- 
сгвующий моменту 4, структура 
исйросети была оптимальной для 
примеров данной предметной об- 
насти. 

Интересно отметить, что вре- 
мя ения нейросети от начала 
ло нулей Е нЕ ИСА аи 
| висимости погрешности обоб- 
примерно в полтора раза больше, щения гг от времени { (штрихо- 
чем если бы в сети было сразу оп- выми линиями отмечены момен- 
‚имальное число нейронов [11]. Эта тъ добавления новых нейронов) 
цифра означает, что навыки, при- 
обретенные нейросетью в процес- 
сс предварительного обучения, не теряются полностью при до- 
оавлении в нее нового нейрона. 

Остается невыясненным вопрос, в каких конкретно местах ней- 
росети следует добавлять новые нейроны. Их можно выбрать слу- 
чайным образом или воспользоваться алгоритмами расщепления 
пейронов, приведенными в книге [22]. Согласно одному из таких 
алгоритмов следует вести наблюдение за тем, как изменяется 
вектор Лу; в процессе предъявления сети обучающих примеров. 
Если при наблюдении обнаружится такой нейрон, что одна груп- 
па обучающих примеров стремится изменить его вес (вектор и;) в 
одном направлении, а другая группа примеров — в другом, то 
гакой нейрон логично расщепить на два. Первому из двух новых 
нейронов логично придать вес, отличающийся от веса исходного 
нейрона на величину коррекции, обусловленной первой группой 
примеров, а второму нейрону — вес, скорректированный с по- 
мощью второй группы примеров. Добавление новых нейронов в 
сеть таким способом вообще не приводит к скачкообразному уве- 
личению функции ошибки сети, наблюдаемому на рис. 3.18. В этом 
случае число эпох, необходимых для нахождения оптимальной 
структуры сети и ее обучения, несколько снижается, однако ус- 
ложнение алгоритма и дополнительные вычисления, связанные с 
обнаружением нужного нейрона и его расщеплением, часто сво- 
дят на нет указанный выигрыш. 


0 1 


3.3.3. Проблемы и методы обучения 
Как было показано в предыдущих подразделах, изобретение 
алгоритма обратного распространения ошибки открыло путь ши- 
рокому практическому применению многослойного персептрона. 
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Вместе с тем с расширением фронта научных исследований обна- 
ружились и недостатки этого алгоритма. 

Прежде всего отметим, что алгоритм обратного распростране: 
ния ошибки в его первоначальном изложении реализовывал ме 
тод наискорейшего спуска, который является далеко не самым луч 
шим градиентным методом теории оптимизации. Эта теория ста- 
вит своей задачей поиск минимума некоторой целевой функции 
(функционала) =, которая зависит от нескольких переменных, 
представленных в виде вектора и = [и/|, и», ..., \,]Г. В случае обуче- 
ния многослойного персептрона целевая функция = — это квадра- 
тичная ошибка персептрона, рассчитанная по формуле (3.12), а 
» — вектор синаптических весов межнейронных связей. 

Все градиентные методы теории оптимизации основаны на 
разложении целевой функции =(и’) в ряд Тейлора в окрестности 
некоторой начальной точки ж п-мерного пространства перемен- 
ных: 


| 
(ж + р) = (и) + [8 (+) Гр+ур’Н()р+..., (3.46) 
где р — вектор, вдоль которого строится разложение в ряд Тей- 
лора, 2(») — вектор градиента целевой функции 
Т 
КС дє 
КРЕ? . Матрица 
80) = Е ди, а ина 
д? д? 
дидир диди, 
Н (юж) = РТ ыы и № 
д?є д? 
ди,ди ди,ди, 


составленная из производных второго порядка, называется мат- 
рицей Гессе, или гессенианом. 

Разложение (3.46) можно считать квадратичным приближени- 
ем целевой функции =(») в окрестности точки м с точностью 


погрешности отсеченной части 0(/2), где В=|р|, т.е. 


(ж + р) = (ж) + [8(*)|Гр+ > р'н(ю)р +0О(/?). (3.47) 


В теории оптимизации это разложение используется при пост- 
роении алгоритмов поиска минимальной точки целевой функции. 
Полагая вектор р(/) направлением поиска в момент времени /, 
перепишем последнее представление в виде 
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=(*(1) + р(1)) = 
= є(ю(/)) + [#(#(0))]7 рб) + 5 0? Н(н(1)) р(?) + (#3). (3.48) 


Далее будем считать, что левая часть этого выражения есть значе- 
пие целевой функции в новый момент времени, т.е. є(ю№(/) + р(й) = 

5(#+ 1), тогда как =(*(д) = =(0. Если в разложении (3.48) огра- 
пичиться первыми двумя слагаемыми, то для выполнения усло- 
вия уменьшения значения целевой функции со временем 


5(1+1) < =(/) (3.49) 
необходимо, чтобы 


[&(*(1))]Т р(0) < 0. (3.50) 

Последнее будет выполнено, если вектор р(?, определяющий 

направление минимизации, выбрать равным антиградиенту целе- 
вой функции, т.е. 


ра) = –2((0)). (3.51) 


Таким образом, при задании вектора р(/) согласно формуле 
(3.51) итерационный процесс ю(ї + 1) = (7) + р будет приво- 
дить к уменьшению значения целевой функции. Если теперь ввес- 
ги коэффициент т, влияющий на шаг итераций, то получим 


#(1+1) =ю(® + тр(г), (3.52) 


т.е. придем к методу наискорейшего спуска, реализованному в 
алгоритме обратного распространения ошибки (см. подразд. 3.1.7). 

Согласно этому алгоритму процесс поиска минимума функ- 
ции ғ(ю) можно представить следующим образом. В некоторой 
случайно заданной точке поверхности ошибок находится направ- 
ление скорейшего спуска (антиградиента), затем делается шаг вниз 
на расстояние, пропорциональное крутизне склона (градиенту) 
и коэффициенту скорости обучения т. В новой точке снова опре- 
деляются направление и величина антиградиента, согласно кото- 
рым делается следующее перемещение и т.д. Это значит, что при 
виде сверху на поверхность, изображающую целевую функцию, 
каждое такое перемещение производится в направлении, ортого- 
нальном к проходящей через данную точку линии постоянного 
уровня (изолинии). 

Если бы изолинии поверхности ошибок нейросети представляли 
собой концентрические окружности, как показано на рис. 3.19, а, 
то направление антиградиента указывало бы на точное располо- 
жение точки минимума целевой функции. Однако поверхность 
ошибок имеет более сложный характер. Так, на рис. 3.19, б изоли- 
нии поверхности ошибок имеют вид эллипсов, а сама поверх- 
ность вблизи минимальной точки имеет форму оврага. В этом слу- 
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Рис. 3.19. Движение точки наблюдения по поверхности ошибок нейросе- 

ти, обучаемой методом обратного распространения ошибки (а, 6), ме- 

тодом обратного распространения ошибки с учетом инерции (в), РагГап- 
методом (г) 


чае траектория градиентного спуска представляет собой ломаную 
линию, каждый отрезок которой ортогонален к линии уровня в 
той точке поверхности ошибок, из которой производится очеред- 
ной шаг. 

Наблюдая за этим процессом, можно представить себе, что по 
склону оврага спускается некое животное, которое каждый раз 
прыгает вниз в сторону максимальной крутизны поверхности ов- 
рага. Очевидно, что прыжки животного были бы более рациональ- 
ными, если бы оно прыгало, считаясь с инерцией своей массы, 
т.е. каждый раз изменяло свою траекторию не так резко, как это 
предписывает направление антиградиента, а стремилось бы со- 
хранить прежнее направление движения, как изображено на 
рис. 3.19, в. Указанное свойство инерции можно смоделировать, 
если в формуле для коррекции каждого весового коэффициента 
добавить слагаемое, пропорциональное величине коррекции это- 
го коэффициента на предыдущем шаге: 


(+1) = №(7) + пр(7) + а(№(Е) - Е – 1)), (3.53) 
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где а — коэффициент инерции (импульса или момента), обычно 
задаваемый из интервала [0,1]. 

Другим способом учета инерции движения точки по поверхно- 
сти целевой функции является метод сопряженных градиентов: 


р(ї) = –2(1) + В(7 – 1) р(ї – 1). (3.54) 
Здесь 2(/) = 2(ю(0)) — антиградиент; В(7 – 1) — коэффициент 
сопряжения, обычно определяемый по формуле 


_ 27 (0) (200) – (07 –1)) 
рие аа (3.55) 
в (1-1) (7-1) 

Суть еще одного приема, называемого Ра’Тап-методом, про- 
демонстрирована на рис. 3.19, г. Его идея заключается в том, что 
выполняются два или несколько шагов в сторону антиградиента, 
причем координаты точек функции ошибок перед первым шагом 
и после последнего шага запоминаются. Затем делается шаг в на- 
правлении, соединяющем первую и последнюю запомненные точ- 
ки. 

Существует группа методов, называемых квазиньютоновскими, 
в которых помимо первых производных используются еще и вто- 
рые производные целевой функции. Квази-ньютоновский алго- 
ритм получается при сохранении трех слагаемых разложения це- 
левой функции в ряд Тейлора (3.48). Продифференцировав их по 
РР и приравняв к нулю, получим: 


2(0(7)) + Н(ю(1)) р(?) = 0. (3.56) 
Отсюда 


р?) =-[Н(®(0)] 7'2(»(0)). (3.57) 


Таким образом, используя итерационную формулу (3.52), мы 
получаем алгоритм, подразумевающий вычисление градиента 2 и 
гессениана Н на каждом итерационном шаге. Однако в практиче- 
ских реализациях вместо гессениана используются его аппрокси- 
мации. 

Существует группа методов, не требующих вычисления произ- 
водных от целевой функции и потому называемых неградиентны- 
ми. Однако, как правило, они значительно уступают по эффек- 
тивности градиентным методам и поэтому не рекомендуются для 
обучения нейросетей. 

Существуют также методы обучения нейросетей, называемые 
эвристическими. Как правило, они не имеют строгого теоретиче- 
ского обоснования, но в них отражается личный опыт работы ав- 
торов в области нейросетевых технологий. 

Во всех рассмотренных здесь методах обучения нейросетей при- 
сутствует проблема выбора параметра п, определяющего длину 
шага вдоль выбранного направления оптимизации р(?. Простей- 
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ший способ состоит в фиксации постоянных значений п на вес! 
период обучения. При этом рекомендуется величину т задават, 
раздельно для каждого слоя персептрона, например по эмпири 
ческой формуле [60]: 


нЕ п 1.) (3.58) 
І 
где п; — число входов і-го нейрона в слое. 

Другие методики предполагают динамическое изменение 1 н 
ходе обучения в зависимости от поведения целевой функции оши: 
бок =, вычисляемой по формуле (3.42). Для более быстрой сходи- 
мости коэффициент п стремятся увеличивать по мере снижения 
функции ошибок, однако не допуская ее существенного возрас- 
тания. 

В настоящее время основная проблема обучения персептронов 
состоит в том, что поверхность функции ошибок обычно имеет 
очень сложную форму со множеством локальных минимумов. По- 
этому все изложенные выше методы обычно приводят к одному 
из локальных минимумов, лежащих в окрестности начальной точки 
обучения. Если после нахождения такого минимума погрешность 
обучения нейросети признается неудовлетворительной, то сеть 
«встряхивают», давая весовым коэффициентам случайные прира- 
щения, и продолжают процесс обучения из другой точки. Часто 
процесс обучения приобретает характер длительного эксперимен- 
тирования, в ходе которого пробуются различные оптимизацион- 
ные алгоритмы с различными параметрами. В результате успех 
применения нейросетевых технологий ставится в зависимость от 
опыта и интуиции специалиста, числа различных оптимизацион- 
ных алгоритмов, имеющихся в его распоряжении. 

В связи с этим актуальным является развитие методов глобаль- 
ной оптимизации, т.е. таких, которые позволяют найти глобаль- 
ный минимум многоэкстремальной целевой функции. Среди мно- 
жества возможных подходов наиболее успешным признается идея 
генетических алгоритмов. Эта идея, впервые предложенная Дж. Хол- 
ландом в 1970-х гг. [58], состоит в имитации природных оптими- 
зационных процессов, происходящих при эволюции живых орга- 
НИЗМОВ. 

Как известно, основы теории эволюции были сформулирова- 
ны Чарльзом Дарвином в 1859 г. в его знаменитой работе «Проис- 
хождение видов путем естественного отбора». Согласно эволюци- 
онной теории природа оптимизирует все живое благодаря двум 
биологическим механизмам — естественному отбору и генетиче- 
скому наследованию. Суть естественного отбора заключается в том, 
что наиболее приспособленные особи лучше выживают и прино- 
сят больше потомства, чем менее приспособленные. Механизм 
генетического наследования состоит в следующем. Почти в каж- 
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лой клетке любого живого организма имеется набор хромосом, 
несущих информацию об этом организме. Основная часть хромо- 
сомы — нить ДНК (молекула дезоксирибонуклеиновой кислоты), 
которая состоит из четырех видов соединений — нуклеотидов, 
идущих в определенной последовательности. Нуклеотиды обозна- 
чаются буквами А, Т, Си С, их порядок следования кодирует все 
генетические свойства организма. 

Ген — это отрезок цепи ДНК, отвечающий за определенное 
свойство особи, например за цвет глаз, тип волос, цвет кожи 
и т. д. Установлено, что вся совокупность генетических признаков 
человека кодируется посредством примерно 60 тыс. генов, сум- 
марная длина которых составляет более 90 млн нуклеотидов. 

При размножении живых организмов происходит слияние двух 
родительских половых клеток: хромосомы родителей сближаются 
вплотную, затем их нити ДНК разрываются в нескольких случай- 
ных местах и хромосомы обмениваются своими частями. Таким 
образом, молекулы ДНК потомков случайным образом приобре- 
тают гены как отца, так и матери. 

При наследовании возможны мутации — изменения генов в 
половых клетках одного из родителей. Измененные гены переда- 
ются потомку и придают ему новые свойства, отличные от свойств 
родителей. Если эти новые свойства окажутся полезными, т.е. по- 
томок будет более приспособлен к окружающей среде, то в про- 
цессе естественного отбора он выживет и создаст новое более со- 
вершенное потомство. Таким образом, механизмы естественного 
отбора, изменчивости и наследственности являются источником 
совершенствования биологических видов, методом оптимизации 
свойств живых организмов, созданным самой природой. 

Генетические алгоритмы, предназначенные для оптимизации 
(обучения) весовых коэффициентов нейронной сети, работают 
следующим образом. Сначала создается некоторая начальная по- 
пуляция особей, каждая из которых имеет свою собственную 
«хромосому» — вектор весовых коэффициентов нейронной сети 
№ = [и,, №, ..., и”. Для каждой особи вычисляется целевая функ- 
ция ғ(и), являющаяся мерой приспособленности особи к суще- 
ствованию. Первоначальная популяция равномерно распределяет- 
ся в пространстве оптимизируемых параметров. Таким образом, 
точки, соответствующие каждой особи, более-менее равномерно 
распределяются по поверхности целевой функции, как показано 
на рис. 3.20, а. | 

Отбор особей для скрещивания, необходимого для создания 
нового поколения, может основываться на различных принципах. 
Одним из наиболее распространенных считается принцип эли- 
тарности, согласно которому к скрещиванию допускаются наи- 
более приспособленные особи, а наихудшие отбраковываются и 
заменяются вновь создаваемым потомством. Этот процесс назы- 
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Рис. 3.20. Распределение по поверхности целевой функции точек, соот- 
ветствующих хромосомам особей начальной популяции (а) и после 
п поколений (6) 


вается селекцией. Обычно процесс скрещивания состоит в том, что 
хромосомы родителей случайным образом рассекаются на две не- 
равные части, после чего они соединяются так, что хромосомы по- 
томков содержат часть хромосомы отца и часть хромосомы матери, 
как показано на рис. 3.21. В ситуации, изображенной на рис. 3.21, 
после скрещивания хромосомы отца (фрагменты а; и ао) с хро- 
мосомой матери (фрагменты 2; и 55) образовалась пара новых хро- 
мосом, первая из которых имеет фрагменты а! и 5, а вторая — 
фрагменты Ё; и а. 

Следующая генетическая операция называется мутацией и со- 
стоит в замене некоторого случайным образом выбранного эле- 
мента (гена) случайно выбранного вектора (особи) на новое, 
случайным образом заданное допустимое значение. Мутации обыч- 
но подвергается не более 1...5 % бит хромосом всей популяции. 
В результате всех этих генетических операций формируется новое 
поколение, число особей которого равно числу особей предыду- 
щего поколения. Как показывает опыт, новые поколения, создан- 
ные в результате селекции, скрещивания и мутаций, в среднем име- 
ют меньшие значения целевой функции (как показано на рис. 3.20, 
б), т.е. новые поколения являются более совершенными. 
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Рис. 3.21. Операция скрещивания, применяемая в генетических алго- 
ритмах 
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Процесс смены поколений завершается после достижения за- 
данного числа итераций или после того, как одна из особей при- 
обретет заданное минимальное значение целевой функции. Эта 
особь является победителем, и ее хромосома принимается за окон- 
чательное решение генетического алгоритма. 

При обучении персептронов обычно применяют различные 
вариации генетических алгоритмов, связанные с выбором пара- 
метров и способов селекции, скрещивания и мутаций. Эффектив- 
ным оказалось совмещение генетических алгоритмов с ранее рас- 
смотренными локальными алгоритмами оптимизации: на началь- 
ных стадиях работает генетический алгоритм, а затем особь-побе- 
дитель или группа наиболее совершенных особей продолжают спуск 
к минимуму, например методом сопряженных градиентов. 

В заключение отметим, что генетические алгоритмы, как и 
нейронные сети, восхищающие своей красотой и близостью к 
природным механизмам, являются новым перспективным разде- 
лом информатики. Они имеют свою независимую от нейросетевых 
технологий область применения и лежат в основе многих коммер- 
ческих пакетов, широко применяемых для решения разнообразных 
оптимизационных задач, возникающих в экономике, бизнесе, про- 
мышленности и других областях человеческой деятельности. 


3.3.4. Подготовка входных и выходных параметров 


Подбор обучающих примеров. От удачного подбора обучающих 
примеров во многом зависит успех создания нейронной сети, адек- 
ватно моделирующей предметную область. Прежде всего необхо- 
димо понимать, что не все параметры предметной области влия- 
ют на выходной вектор У. Например, знание температуры тела 
вряд ли поможет в постановке диагноза больному, если задача 
состоит в выявлении у него одних только психических отклоне- 
НИЙ. 

Параметры, которые не оказывают влияния на вектор У, на- 
зывают незначимыми для этого выходного вектора. Естественно, 
что незначимые параметры не следует включать в список пара- 
метров входного вектора Х. 

Однако на практике часто бывает трудно и даже невозможно 
установить, какие из параметров предметной области являются 
значимыми, а какие нет. Поэтому на первом этапе в вектор Х 
включают как можно больше параметров, избегая только те из 
них, незначимость которых представляется очевидной. 

После первоначального создания и обучения нейронной сети, 
незначимые параметры могут быть выявлены двумя способами. 

1. Путем анализа значений весовых коэффициентов входных 
нейронов. Если окажется, что у какого-либо входного нейрона 
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синаптические веса значительно меньше, чем у других нейронов, 
то этот входной нейрон скорее всего соответствует незначимому 
параметру вектора Х. 

2. Путем возмущения значений входных параметров и анализа 
реакции сети на эти возмущения. Если сеть не реагирует или сла- 
бо реагирует на изменения значения какого-либо входного пара- 
метра, то этот параметр не является значимым. 

После выявления и исключения входных нейронов, соответ- 
ствующих незначимым параметрам, качество нейросети улучша- 
ется, так как снижается ее размерность. Однако надо понимать, 
что слишком малое число входных параметров может привести к 
тому, что нейросети не хватит данных для выявления требуемых 
от нее закономерностей предметной области. 

Предобработка обучающих примеров и интерпретация ответов. 
Параметры, описывающие предметную область, могут иметь са- 
мый разнообразный характер. Это могут быть числа с различными 
диапазонами изменений, качественные характеристики, такие как 
цвет волос и глаз пациента, даты (число, месяц, год), графиче- 
ские объекты. Поскольку нейросеть в состоянии обрабатывать толь- 
ко числа, то вся нечисловая информация должна быть закодиро- 
вана в числовом виде. 

Числовую информацию, приготовленную для нейросетевой 
обработки, желательно масштабировать, т.е. выровнять диапазоны 
изменения величин, например, ограничив их интервалом [0, 1] 
или [-1, 1]. Сделать это можно с помощью простейшего линейно- 
го преобразования: 

Е та (рд) +а, (3.59) 


Хи тах — Хи шт 


где х, и х, — значения исходного и масштабированного и-го па- 
раметра предметной области, подаваемого на п-й входной нейрон 


нейросети; [х„пш›Х„пах| — Реальный диапазон изменения п-го 


параметра; [а, 5] — приемлемый диапазон изменения входных 
сигналов. 

Желаемые выходные сигналы персептрона должны быть также 
закодированы в приемлемой форме и масштабированы в прием- 
лемом диапазоне [а, 6]. Например, в подразд. 3.2.7 рассматрива- 
лось применение персептрона для прогнозирования курса долла- 
ра, который с марта по май 2003 г. изменялся в диапазоне [30.6, 
31.8]. Это значит, что при формировании обучающего вектора ОЭ 
следует применить формулу масштабирования, аналогичную (3.59): 


а, = 0 ьт _ (6-а) +а, (3.60) 


1 тах — 1, тіп 
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‚де 4, и а, — заданное и масштабированное значения т-й ком- 
поненты вектора Р; аи, = 30.6; 4, „х = 31.8. Обученный на такой 


выборке персептрон будет формировать выходной вектор У, со- 
держащий значения курса доллара, приведенные к диапазону [а, 2]. 
Поэтому к ним должно быть применено преобразование, обрат- 
ное масштабированию (3.60): 


Ут = И ты = айт) + тени: (3.61) 

Таким образом, персептрон можно применять для моделиро- 
вания предметной области, описываемой числовыми параметра- 
ми любого диапазона. При формировании обучающей выборки 
входные и выходные параметры желательно масштабировать — 
преобразовать к приемлемому диапазону [а, 6]. Естественно, что 
ответы персептрона после этого следует интерпретировать путем 
применения преобразования, обратного масштабированию. 

Теперь рассмотрим возможности интерпретации ответов пер- 
септрона при решении задач классификации. К ним относятся 
рассмотренные выше задачи создания нейросетевого детектора лжи 
(см. подразд. 3.2.4), выявления хакеров (см. подразд. 3.2.5), поста- 
новки диагнозов сложных технических устройств (см. подразд. 3.2.3) 
и диагнозов заболеваний человека (см. подразд. 3.2.2). Во всех рас- 
смотренных случаях персептроны строились таким образом, что 
каждому классу (каждому диагнозу) отводился свой выходной 
нейрон. Размерность обучающих векторов Р совпадала с числом 
выходных нейронов, а его компонентам 4» задавалось значение 1, 
если для подготовленного вектора Х имел место диагноз, за кото- 
рый «отвечает» т-й выходной нейрон, и 0, если диагноз другой. 
При появлении на входе персептрона нового вектора параметров, 
не встречавшихся в обучающей выборке, персептрон вычислял 
вектор Ү, который нужно интерпретировать с целью получения 
заключения о классификации нового входного объекта. Наиболее 
распространенный способ интерпретации состоит в том, что вы- 
ходному сигналу т-го нейрона присваивается значение 1, если 
Уһ > (В - а)/2, и 0 — в противном случае. Причем логично пола- 
гать, что чем больше значение у„, тем более вероятна правиль- 
ность постановки диагноза т-й болезни или неисправности, а чем 
меньше значение у„, тем вероятнее отсутствие т-й болезни, не- 
исправности и т. п. В этом случае говорят, что значение у, можно 
расценивать как функиию принадлежности объекта какому-либо 
классу или как меру уверенности ответа персептрона. 

Таким образом, мы видим, что персептрон дает нечеткий ответ, 
оценивая вероятность возможной ошибки. Подобно добросовестно- 
му врачу-диагносту, персептрон может ответить, что у больного на- 
верняка есть инфаркт миокарда, однако с вероятностью 65% он 
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подозревает, что у больного был порок сердца и на 90 % персеп- 
трон уверен, что ишемической болезни сердца у больного нет. 

В заключение отметим, что помимо рассмотренных способов 
подготовки данных и интерпретации ответов нейросетей, сущест- 
вует множество других приемов [5— 7, 21], преследующих анало- 
гичные цели. 


3.3.5. Виды активационных функций 


В современных нейронных сетях наиболее часто применяются 
следующие виды активационных функций. 

Пороговые активационные функции. В начале главы с помощью 
формул (3.1) — (3.3) была введена пороговая активационная фун- 
кция нейрона, представленная на рис. 3.2. Если в уравнении (3.1) 
под 5 понимать разность между взвешенной суммой входных сиг- 


п 
налов и пороговым значением нейрона, т.е. 5 = У' х,и; – Ө, то ак- 
і=1 
тивационная функция у = (5) будет иметь вид, показанный на 
рис. 3.22, а. Однако чаще в нейросетях применяется пороговая фун- 
кция, симметричная относительно начала координат (рис. 3.22, 6). 
Линейные активационные функции. На рис. 3.23, а показан гра- 
фик линейной активационной функции у = 5 с неограниченной 
областью изменения. Такие функции могут быть и с ограничен- 
ной областью изменения: у = –1 при 5 < –1; у = 5 при -1 < 5 < 1; 
у= 1 при 5 > 1 (рис. 3.23, 6). 
Сигмоидные активационные функции. На рис. 3.24, а изображен 
график сигмоидной функции, заданной уравнением 


(3.62) 


а на рис. 3.24, 6 — уравнением 


а б 


Рис. 3.22. Пороговые активационные функции с несимметричной (а) 
и симметричной (6) областями изменения 
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а б 


Рис. 3.23. Линейные активационные функции с неограниченной (а) 
и ограниченной (6) областями изменения 


а б 


Рис. 3.24. Сигмоидные активационные функции с несимметричной (а) 
и симметричной (6) областями изменения 


(3.63) 


Аналогичный последнему графику характер имеют функции 


2 
арктангенса у = – агсір,5 и гиперболического тангенса у = 115, а 
Т 


5 
также функция у= +5 которые тоже называют сигмоидами. 


Радиально-базисные активационные функции. В последнее вре- 
мя получают распространение нейросети, нейроны которых име- 
ют активационные функции в форме функции Гаусса (рис. 3.25) 

52 
у=е 2, (3.64) 
где 5 — евклидово расстояние между входным вектором Хи цен- 
тром активационной функции С, 5 = |х -С|; с — параметр гаус- 


совой кривой, называемый шириной окна. 

Такие активационные функции называют радиально-базисны- 
ми (КВЕ), а соответствующие нейронные сети — КВЕ-сетями (см. 
подразд. 3.4). 
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у Отметим, что все приведенные 
выше активационные функции, за 
1 исключением пороговой (см. рис. 3.22) 
и кусочно-линейной (рис. 3.23, 6), 
являются непрерывно дифференци- 
руемыми. Линейная функция (см. рис. 
3.23, а) выполняет преобразование 
Рис. 3.25. Радиально-базисная бесконечного входного множества 
активационная функция значений переменных 5 в идентич- 
ное ему бесконечное множество 
переменных у. Пороговые активаци- 
онные функции преобразуют множество 5 в бинарные множества 
у= Оиу= 1 или у=-1иу= 1. Остальные активационные функции 
преобразуют бесконечное входное множество 5 в ограниченные 
выходные множества: у є (0, 1), у Е (-1, 1) иу є (0, 1]. От вида 
используемых активационных функций зависят функциональные 
возможности нейросетей, а также способы их обучения. 


5 


3.4. РАДИАЛЬНО-БАЗИСНЫЕ СЕТИ 


Радиально-базисной функцией (КВЕ) называется функция, 
радиально изменяющаяся вокруг некоторого центра, заданного 
вектором С, и принимающая ненулевые значения только в окрест- 
ности этого центра. Ее аргументом является расстояние между те- 


кущим вектором Х и вектором С, т.е. Ф = Ф (|Х – С||). 


В некотором смысле нейроны, имеющие радиально-базисные 
активационные функции являются логическим дополнением ней- 
ронов со ступенчатыми и сигмоидными активационными функ- 
циями. Действительно, нейрон Мак- Каллока — Питтса активизи- 


руется, когда У хи, -0>0, т.е. он имеет единичный (положи- 
р 


тельный) выход для точек пространства, лежащих по одну сторо- 


ну гиперплоскости Ух; Ө = 0, и нулевой (отрицательный) — 
і 


для точек, лежащих по другую сторону (рис. 3.26, а). Нейрон с 
радиально-базисной функцией также делит пространство входных 
параметров на две части, однако разделяющей поверхностью здесь 
является гиперсфера (рис. 3.26, 6). Для точек пространства, лежащих 
внутри гиперсферы, выход нейрона положителен, а для точек, ле- 
жащих снаружи гиперсферы, он равен нулю (отрицателен). 
Радиально-базисные нейроны обладают преимуществом, зак- 
лючающимся в том, что с их помощью легче построить поверх- 
ность, обеспечивающую разделение входных параметров на клас- 
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0 6 Ху 


Рис. 3.26. Разделение пространства на две части нейроном Мак-Калло- 
ка-Питтса (а) и радиально-базисным нейроном (6) 


сы. В связи с этим в радиально-базисных сетях отсутствует необхо- 
лимость использования большого числа скрытых слоев. Типичная 
радиально-базисная сеть имеет только один скрытый слой, при- 
чем синаптические веса нейронов скрытого слоя равны единице, 
а нейроны входного и выходного слоев имеют линейные актива- 
ционные функции. Как доказано в [53], такая сеть при достаточ- 
ном числе нейронов скрытого слоя гарантирует решение любой 
задачи классификации образов. 

Рассмотрим КВЕ-сеть, которая имеет М входов, один выход и 
Ј радиально-базисных нейронов скрытого слоя (рис. 3.27). Выбор- 
ка обучающих примеров для такой сети состоит из О входных 
№-мерных векторов Х,, 4 = 1, 2, ..., О и соответствующих им 
выходных параметров 4.. Если число нейронов скрытого слоя Ј 
задать равным числу обучающих примеров О, то работу КВЕ-сети, 
преобразующей входные векторы Х, в выходные параметры 4, 
можно представить с помощью матричной операции: 


Ф(|Х, – С, | Ф(|Х, = С) ... (|х, 2 с, ... Ф(|Х, - Су р 
Ф(Х 1) (ХС) ... Ф(Х: -С;)) ... Ф - С) 


«фх.-ср «(А -С) -. (С). «4х. Сл) 


(Хо С) (Хо – С) -. «(о – С) -- «(о – С) 


У а, 
У) 1, 

х = 5 
и’) 7А 
и, 40 
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2] которую перепишем в сокращен 
ной матричной форме 

Ф ю = ӣ (3.65) 

Искомый вектор весовых ко 

эффициентов получается отсюда 


простым обращением матрицы 
радиально-базисных функций: 


и = Ф-!4. (3.66) 


Таким образом, для обучения 
Рис. 3.27. ВВЕ-сеть, имеющая М КВЕ-сети не требуется итераци: 
входов, один выход и Ј радиаль- онного процесса. Этот результат 
но-базисных нейронов скрытого представляет теоретический ин- 
слоя терес, однако практической цен- 
ности не имеет. Дело в том, что 
при большом числе обучающих примеров требование Ј = О при- 
водит к вычислительным сложностям из-за чрезмерного увеличе- 
ния числа нейронов внутреннего слоя. Кроме того, создаваемая 
нейросетью гиперповерхность, аппроксимирующая точки пред- 
метной области, в точности проходит через точки, изображаю- 
щие обучающие примеры. Как показано ранее (см. подразд. 3.3.2), 
такая ситуация, называемая переобучением, или гиперразмерно- 
стью, ослабляет обобщающие свойства сети. Поэтому в практи- 
чески используемых КВЕ-сетях число нейронов скрытого слоя 
выбирают значительно меньше числа обучающих примеров, т.е. 
Ј << О. В этом случае матрица Ф не является квадратной, так как 
число строк О в ней значительно больше числа столбцов Ј. Весо- 
вые коэффициенты и, в этом случае могут быть определены из 
условия минимума квадратичной ошибки сети 


о[/ У 
= Уи, (|х, - С) –4, |. (3.67) 
4=1 | ј=1 

В отличие от многослойного персептрона функция ошибки 
(3.67) не имеет локальных минимумов. Задача ее минимизации 
является линейной, и поэтому здесь применимы хорошо извест- 
ные методы линейной оптимизации, которые сходятся на поря- 
док быстрее, чем в случае обучения многослойного персептрона. 
Более того, задача определения весов и’ может быть решена путем 
псевдоинверсии прямоугольной матрицы Ф: 


«ІХ – СА) 


где Ф+ = (ФГФ)-! ФГ. 
В качестве активационных функций в КВЕ-сетях чаще всего 
применяется функция Гаусса 
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к-с гй 


(|х –С,|) = ехр| - (3.69) 


Вид этой функции определяется двумя параметрами: вектором 
С, задающим ее центр, и скаляром $; задающим скорость ее убы- 
вания с ростом евклидова расстояния между центром С; и теку- 
щей координатой Х. 

В случае, когда число нейронов скрытого слоя равно числу 
обучающих примеров (Ј = О), центры активационных функций 
логично задать координатами векторов обучающей выборки, т.е. 
С=Х 0 = 9 = 1, ..., О), а ширины окон с; подобрать из тех 
соображений, чтобы часть пространства, в которой располагают- 
ся векторы Х,, была охвачена влиянием активационных функций. 
Например, в качестве с; можно задать евклидово расстояние от 
центра С; до его ближайшего соседа либо среднеквадратичное рас- 
стояние до Р ближайших соседей: 


(3.70) 


где Р рекомендуется задавать в интервале [3, 5]. 

После этого весовые коэффициенты ж определяют по формуле 
(3.66). 

В реальной же ситуации Ј << О, поэтому предварительно вы- 
полняют кластеризацию — объединяют близкие между собой век- 
торы Х,, называя такие объединения кластерами. Затем определя- 
ют центры кластеров, в которые и помещают центры активаци- 
онных функций. Один из способов кластеризации векторов на за- 
данное число кластеров рассмотрен в подразд. 3.6. 

После фиксации центров активационных функций находят их 
ширины окон с, например по формуле (3.70). Последний этап 
состоит в определении синаптических весов ж путем минимиза- 
ции функционала (3.67) или по формуле (3.68). 

В заключение отметим, что в последнее время КВЕ-сети начи- 
нают успешно применять в задачах, которые традиционно реша- 
лись нейронными сетями с сигмоидными функциями. Главным 
образом, это задачи распознавания и классификации, аппрокси- 
мации функций и прогнозирования. Интерес к КВЕ-сетям объяс- 
няется их следующими преимуществами: 

КВЕ-сети имеют всего один скрытый слой, что избавляет кон- 
структора сети от решения вопроса о числе слоев; 

обучение КВЕ-сети сводится к решению линейной оптимизаци- 
онной задачи, поэтому отсутствует опасность попадания в локаль- 
ный минимум, а сам процесс обучения занимает на порядок мень- 
ше времени, чем процесс обучения многослойного персептрона. 
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Однако при проектировании КВЕ-сетей приходится решать 
вопрос об оптимальном числе нейронов скрытого слоя, выпол- 
нять кластеризацию входных обучающих векторов и определять 
ширины окон активационных функций. 


3.5. РЕКУРРЕНТНЫЕ СЕТИ 


Как показали нейрофизиологические исследования, мозг че- 
ловека имеет гораздо более сложную структуру и механизмы вза- 
имодействия между нейронами, чем те, которые реализованы в 
рассмотренных выше искусственных нейронных сетях. В частно- 
сти, между биологическими нейронами выявлено большое число 
не только прямых, но и обратных связей. В связи с этим были 
предприняты попытки дополнить искусственные нейронные сети 
обратными связями, что привело к новым неожиданным резуль- 
татам. Рассмотрим некоторые из них. 


3.5.1. Рекуррентные сети на базе персептрона 


На рис. 3.28, а приведен пример персептрона, у которого вы- 
ходные сигналы у, и у, через элементы единичных задержек 2 
подаются обратно на входы персептрона. Таким образом, под воз- 
действием входных сигналов ху и х, на выходе сети в момент време- 
ни ѓ вырабатываются сигналы у, (й и у>(1), а в следующий момент 
времени под воздействием этих сигналов, подаваемых на вход, 
вырабатываются новые выходные сигналы у! (Ё+ 1) и у,( +1 ). 

Нетрудно показать, что для всякой рекуррентной сети может 
быть построена идентичная сеть без обратных связей с прямым 
распространением сигнала (рис. 3.28, 6), поэтому для обучения 
рекуррентных сетей может быть применен метод обратного рас- 
пространения ошибки. 

В настоящее время нашли применение рекуррентные нейросе- 
ти, в которых элементы единичных задержек включены как в об- 


Рис. 3.28. Рекуррентная сеть на базе персептрона (а) и идентичный ей 
развернутый персептрон (6) 
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ратные, так и во входные связи, а сами обратные связи исходят 
как с выходных нейронов, так и с нейронов скрытых слоев. На 
рис. 3.29 приведена сеть, имеющая один вход и один выход, при- 
чем как входной, так и выходной сигналы подаются на нейроны 
скрытого слоя через элементы задержек. Таким образом, выход- 
ной сигнал, образующийся в момент времени #+ 1, является фун- 
кцией № + Р переменных: 


(+1) = 
= Л(х(@), х(7—1), ..., (1 (М -1)), у(-1), у(- 2), ..., Уа-Р)), (3.71) 
из которых № переменных представляют собой последовательность 
входных сигналов, а Р переменных являются ответами персепт- 
рона в разные моменты времени и называются контекстными ар- 
гументами. 

Такие нейронные сети удобно использовать для прогнозирова- 
ния временных рядов. Например, если речь идет о задаче прогно- 
зирования курса американского доллара, рассмотренной в под- 
разд. 3.2.7, то в скользящем окне в качестве дат можно рассматри- 
вать № входных аргументов, а в качестве соответствующих значе- 
ний курса доллара — Р контекстных аргументов формулы (3.71). 
Шириной скользящего окна будет величина №, которую следует 
принять равной Р. Значение функции у(#+ 1) тогда будет означать 
прогноз курса доллара на день вперед. 


х(0) 


Рис. 3.29. Рекуррентная сеть, имеющая М – 1 элементов задержек 
входного сигнала и Р элементов задержек в обратной связи 
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Если курсы валют требуется прогнозировать с учетом влияния 
различных астрологических или иных факторов (как это отмеча- 
лось в Подразд. 3.2.7), то следует воспользоваться рекуррентной 
сетью с несколькими выходами. Таким свойством обладает, на- 
пример, сеть Элмана [34]. 

Рекуррентные сети рассмотренного типа широко применяют- 
ся также для математического моделирования динамических объек- 
тов. В этом случае уточнение весов выступает в роли идентифика- 
ции параметров динамической математической модели. Создан- 
ная таким образом математическая модель динамического объек- 
та может применяться для управления данным объектом — маши- 
ной, устройством, развивающимся во времени процессом. 


3.5.2. Сеть Хопфилда 


Хопфилд [59] обратил внимание на то, что динамический про- 
цесс, возникающий в замкнутой самой на себя рекуррентной сети 
может привести к некоторому устойчивому состоянию, отличаю- 
щемуся от исходного. Другими словами, итерационный процесс 
рекуррентной сети может вывести на стационарный режим, при 
котором состояние сети перестанет меняться. Причем это конеч- 
ное стационарное состояние сети зависит как от ее первоначаль- 
ного состояния, так и от значений элементов матрицы синапти- 
ческих весов. 

Сеть Хопфилда в классическом варианте исполнения приведе- 
на на рис. 3.30. Считается, что она не имеет входных элементов, а 
входной вектор задает первоначальную активность нейронов, ко- 
торая затем изменяется в ходе итерационного процесса, обуслов- 
ленного наличием обратных связей. В процессе итераций актив- 
ность нейронов корректируется с помощью формулы 


М 
,(1+1) = 58| У му (0) + мо |, (3.72) 
ј=1,і#Ј 
т.е. принимает значения либо +1, либо -1. Согласно рис. 3.30 в 
схеме отсутствуют связи нейронов с их собственными выходами. 
Сеть работает следующим образом. Сначала входной вектор за- 
дает начальную активность у;(2) каждого нейрона. Затем выбран- 
ный случайным образом нейрон получает взвешенные сигналы от 
всех остальных нейронов и обновляет свое состояние согласно 
формуле (3.72). Выбирается следующий нейрон, и процесс повто- 
ряется до тех пор, пока нейроны, выбранные для обновления, не 
перестанут изменять свое состояние. Наступает стационарный ре- 
ЖИМ. 
Сеть Хопфилда ведет себя подобно памяти, хранящей неко- 
торый заданный заранее набор образов, которая пытается вспом- 
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Рис. 3.30. Сеть Хопфилда 


нить один из них, если ей предъявляется какой-либо из этих обра- 
зов, искаженный помехами. Образы предварительно кодируются 
в виде векторов с бинарными компонентами. Каждый из векто- 
ров перемножается сам на себя, образуя квадратную матрицу. 
Затем матрицы складываются, образуя новую квадратную мат- 
рицу, главная диагональ которой обнуляется. Это и есть матрица 
синаптических весов и;, хранящая информацию о всех заданных 
образах. 

Для пояснения алгоритма формирования матрицы синаптиче- 
ских весов приведем пример. Допустим, что предметная область 
содержит два образа, закодированных с помощью двух векторов: 
[-1, 1, - Ци [1, -1, 1]. Перемножив их самих на себя и сложив, 
получим квадратную матрицу: 


Е | 1 1-1 1 Е 2 
[11-04-04 -1 уе 1-я 1-0 
_1 1 = 1 Ге. 


2-2 2 
=|-2 2 -2 
2-2 2 
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Рис. 3.31. Три образа, запомненные сетью Хопфилда 


Выполнив обнуление главных диагоналей, окончательно полу- 
ЧИМ 


0-9-0 
му = -2 0 -2|. 
2-2 0 


Теперь предположим, что мы закодировали и ввели в сеть Хоп- 
филда матрицу синаптических весов, соответствующую трем об- 


Рис. 3.32. Предъявленный сети Хопфилда искаженный образ и его 
деформация за последующие 15 итераций [7] 
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разам, изображенным на рис. 3.31. После этого мы сформирова- 
ли входной вектор, соответствующий некоторому искаженному 
образу, изображенному на рис. 3.32 в левом верхнем углу. Как 
видно из последующих кадров рис. 3.32, итерационный процесс 
привел к тому, что на выходе сети Хопфилда сформировался 
вектор, в точности соответствующий одному из ранее введенных 
образов. 

В этом случае говорят, что входной образ ассоциировался с од- 
ним из введенных ранее образов и что рекуррентные сети рас- 
смотренного типа выступают в роли ассоциативных запоминаю- 
щих устройств. 

Хопфилду математически строго удалось показать, что при 
любом входном векторе итерационный процесс всегда приведет к 
распознаванию одного из введенных ранее образов. Однако мак- 
симальное число запоминаемых сетью образов ри, ограничено фор- 
мулой [54]: 


№ 
Е (3.73) 
с 2а’ 


где М — число нейронов сети Хопфилда. 


3.6. САМООБУЧАЮЩИЕСЯ И ГИБРИДНЫЕ СЕТИ 


Рассмотренные выше нейронные сети персептронного типа 
обучались путем тренировки на примерах. Для обучения предос- 
гавлялась первоначальная информация о предметной области в 
виде набора входных векторов Х.и им соответствующих выходных 
векторов О, — своего рода подсказок, с использованием которых 
сеть обучалась давать правильные ответы на задаваемые вопросы. 
Поэтому такой способ называют обучением с учителем. 

В реальных условиях любой живой организм, взаимодействуя с 
окружающей средой, постоянно ощущает ее воздействие, полу- 
чает своего рода подсказки, согласно которым корректирует свое 
поведение. Так кошка, один раз прыгнувшая на раскаленную печь, 
никогда больше не повторит своей ошибки. Подобных примеров 
можно привести тысячи, поэтому механизм обучения с учителем 
несомненно свойственен мозгу любого живого существа. 

Однако мозг человека обладает и другими механизмами обуче- 
ния. Мы в состоянии решать многие интеллектуальные задачи и 
без предварительного обучения. Например, мы, не задумываясь, 
можем выполнить кластеризацию объектов — объединить похо- 
жие между собой объекты в отдельные классы, называемые клас- 
терами. 

Рассмотрим нейронную сеть, которая без помощи учителя ав- 
томатически настраивает свои синаптические веса, решая задачу 
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кластеризации входных векторов. 
Сеть, изображенная на рис. 3.33, 
имеет один слой из Г нейронов, 
каждый из которых соединен с № 
входами. Этот слой нейронов на- 
зывают слоем Кохонена в честь уче- 
ного, предложившего алгоритм 
самообучения нейросети [61]. Веса 
синаптических связей каждого /- 
го нейрона слоя Кохонена обра- 
Рис. 3.33. Самообучающаяся зуют вектор синаптических свя- 

нейронная сеть 


К Т 
зеи №; = [у №, жм | ‚ раз- 
мерность которого совпадает с размерностью входных векторов 


Т 
Х = [ху, х›,...,ху| . Первоначально значения компонент векто- 


ров Й; задаются датчиком случайных чисел, а компоненты вход- 
ного вектора Х подвергаются нормализации путем деления каж- 
дой из них на длину самого вектора Х. 

Между вектором Хи каждым из векторов И; вычисляются евк- 
лидовы расстояния 


М 
х-и - >, - (3.74) 
Ра 
среди которых выбирается наименьшее. Нейрон, у которого век- 
тор синаптических весов И; оказался ближе всего к входному век- 
тору Х, будем называть нейроном-победителем, а его номер обо- 
значим через у, т.е. нейрон-победитель имеет порядковый номер 
і = и. Синаптические веса нейрона-победителя, а также всех близ- 
лежащих к нему нейронов подвергаются корректировке по фор- 
муле Кохонена 


(2+1) = (7) + тп, 0) Сі, и) (Х – 0 (0)). (3.75) 


В этой формуле коэффициент скорости обучения т) умень- 
шается с увеличением времени /, а функция ((/, у) зависит от 
расстояния между нейроном-победителем и и і-м нейроном сети. 
Обычно ее задают максимальной для і = у и убывающей по мере 
увеличения расстояния от 1-го нейрона до нейрона-победителя. 
Таким свойством обладает, например, функция Гаусса 


й’, ШЕ И; ? 
С(і, у) = ехр т ) (3.76) 


в которой коэффициент А, называется уровнем соседства. 
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В другом варианте обучению по формуле Кохонена (3.75) под- 
пергается только нейрон-победитель. В этом случае функция Ср, у) 
имеет вид 


ба») = | Е (3.77) 
О для 72и 

Этот алгоритм называется алгоритмом МТА. Название образо- 
пано начальными буквами английских слов ИЛипег ТаКез АП, что в 
переводе означает: «Победитель забирает все». В отличие от этого 
алгоритма формулу (3.76) относят к алгоритмам типа МТМ — 
Иппеғ Такеѕ Моя, что переводится как «Победитель забирает боль- 
ше». 

Согласно итерационной формуле Кохонена (3.75) нейрон-по- 
бедитель на каждой эпохе приближает свой синаптический век- 
тор Ж, к входному вектору Х, как показано на рис. 3.34. В резуль- 
гате такого обучения каждой отдельной группе близких между 
собой входных векторов Х,, называемой кластером, будет соот- 
ветствовать один единственный нейрон, который в ходе обучения 
для этих векторов был победителем, причем его синаптический 
вектор в результате итерационного процесса (3.75) окажется в 
центре этого кластера. 

Однако могут найтись и такие нейроны, которые ввиду их пер- 
воначальной удаленности от входных векторов так и не были ни 
разу победителями. Этим нейронам не будет соответствовать ни 
один кластер, поэтому их называют мертвыми нейронами. Нали- 
чие мертвых нейронов нежелательно, они снижают эффективность 
вычислительного алгоритма. 

Проблема мертвых нейронов 
решается путем введения механиз- 
ма, моделирующего эффект утом- 
ления, который известен из ней- Х- ЖХ 
рофизиологических наблюдений. 
Этот эффект заключается в том, 
что биологические нейроны сразу 
после победы на некоторое время 
теряют свою активность и не уча- 
ствуют в конкурентной борьбе. 

Существует несколько способов 
моделирования эффекта утомле- 
ния нейронов, например путем 
введения потенциала активности 
каждого нейрона. Потенциалы ак- 
тивности модифицируются всякий Рис. 3.34. Нейрон-победитель 
раз после представления очеред- приближает свой синаптический 
Вован вектора вектор Й, к входному вектору Х 
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п(Х - #9) 


Я’, (+1) 


р:() – рып ДЛЯ і= и 
р +1) = | (3.78) 
р(Р)+— для Там 
№ 

В этой формуле рии — минимальное значение потенциала, раз- 
решающее нейрону участие в конкурентной борьбе. Если текушее 
значение потенциала какого-либо нейрона падает ниже рик, то 
этот нейрон временно отдыхает, уступая место для конкурентной 
борьбы другим нейронам. В результате такого обучения весовые 
векторы всех нейронов распределятся так, что они будут центра- 
ми различных кластеров, образованных из входных векторов, при- 
чем число кластеров, на которые разобьется входное множество 
векторов, будет равно числу нейронов сети. 

Рассмотренная нейронная сеть представляет практический ин- 
терес, поскольку с помощью нее можно решать задачи кластери- 
зации объектов, которые возникают, например, при необходи- 
мости сжатия информации с сохранением глобальных свойств 
сжимаемого множества. На рис. 3.35 приведен результат работы 
нейронной сети, которая разбила исходное множество на три кла- 
стера. Крестиками здесь отмечены точки исходного множества, 
кружочками — центры кластеров, выявленные нейросетью. 

Задачи кластеризации возникают в самых разнообразных обла- 
стях человеческой деятельности. Так, в педагогике часто возника- 
ет задача разделения всех учащихся на несколько классов, напри- 
мер, вундеркиндов, отличников, успевающих и неуспевающих. Ис- 
ходной информацией для такого деления является множество раз- 
личных показателей успеваемости учащихся за длительный пери- 
од времени. Для решения этой задачи можно использовать слой 
Кохонена из четырех нейронов. 

Слой Кохонена эффективно использовать в сочетании со сло- 
ями нейронов, реализующими другие нейросетевые парадигмы. 
Так, применение КВЕ-сетей, рассмотренных в подразд. 3.5, под- 
разумевает обязательную предва- 
рительную кластеризацию вход- 
ных векторов, которую удобно вы- 
полнять с помощью нейронного 
слоя Кохонена. На рис. 3.36 изоб- 
ражена гибридная сеть, содержа- 
щая слой Кохонена, выходные 
сигналы с которого передаются на 
вход обычного персептрона. Обу- 
чение гибридной нейросети осу- 
ществляется в две стадии. 

На первой стадии происходит 
самообучение слоя Кохонена, в 


Рис. 3.35. Пример кластеризации 
множества 
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Рис. 3.36. Гибридная нейронная сеть: 
[ — слой нейронов Кохонена; // — персептронные слои 


результате которого множество входных векторов разбивается на 
кластеры, число которых равно числу нейронов / слоя Кохонена, 
а векторы синаптических весов каждого нейрона этого слоя при- 
нимают значения, изображающиеся центрами образовавшихся 
кластеров. Теперь при подаче на вход сети какого-либо входного 
вектора каждый нейрон слоя Кохонена будет вырабатывать сумму 


м 
5; = У №„х,. Эти суммы нормализуются так, чтобы выходной 
п=і 


сигнал нейрона-победителя был равен единице, а выходные сиг- 
налы остальных нейронов принимали значения в интервале (0,1). 
Указанная операция нормализации может осуществляться, напри- 
мер, с помощью формулы 


$5 2 
уг = ЕХр| р 


в которой значение параметра с подбирается индивидуально для 
решаемой задачи. 

Персептронная часть сети обучается обычным способом, на- 
пример методом обратного распространения ошибки. Обучающая 
выборка в этом случае состоит из выходных векторов слоя Кохо- 
нена У, и им соответствующих желаемых выходов сети Д,. Благо- 
даря хорошему структурированию исходных данных, выполнен- 
ному слоем Кохонена, персептронная часть гибридной сети обу- 
чается во много раз быстрее, чем обычный персептрон. 

В заключение отметим, что согласно современным данным, мозг 
человека представляет собой каскадное объединение биологиче- 
ских нейронных сетей различных функциональных назначений. 
Поэтому гибридная сеть, объединяющая слои нейронов различ- 
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ных нейросетевых парадигм, в большей мере соответствует совре- 
менным представлениям о структуре и способе функционирова- 
ния мозга. Следствием такого объединения является ее более вы- 
сокая эффективность. 


Контрольные вопросы 


1. Постройте таблицы значимости для булевых функций «И» и «ИЛИ». 
Графическим способом подберите веса и пороги однонейронного пер- 
септрона, реализующего функции «И» и «ИЛИ». 

2. Постройте двухслойный персептрон, реализующий функцию «Ис- 
ключающее ИЛИ». 

3. Составьте программу обучения однонейронного персептрона с по- 
мошью правил Хебба и дельта-правила. 

4. С помощью составленной программы попытайтесь обучить одно- 
нейронный персептрон логическим операциям «И», «ИЛИ», «Исключа- 
ющее ИЛИ». 

5. Спроектируйте и обучите нейросеть прогнозированию курса амери- 
канского доллара по отношению к российскому рублю. 

А. Возьмите из сети [пѓегпеѓ и изобразите графически данные по из- 
менению курса доллара за последние три месяца. 

Б. По данным двух первых месяцев методом окон обучите нейросеть 
прогнозированию курса доллара на один (или более) день вперед. 

В. Определите среднеквадратичную ошибку прогноза, используя в 
качестве тестовых примеров данные последнего месяца. 

Г. Введите в нейросеть дополнительный входной нейрон, в котором 
закодируйте день недели прогнозируемого дня. Повторите пункты Б — В. 

Д. В дополнительном нейроне сети закодируйте данные о солнечной 
активности, взятые из сети Пиегпе. Повторите пункты Б — В. 

Е. В дополнительном нейроне сети закодируйте сведения о фазах Луны 
и повторите пункты Б — В. 

Ж. Сравните среднеквадратичные ошибки прогноза на тестовых вы- 
борках, сделайте заключение о степени влияния на курс доллара иссле- 
дованных факторов. 

6. Нарисуйте схему КВЕ-сети с минимальным числом нейронов, спо- 
собную моделировать функции «И», «ИЛИ», «Исключающее ИЛИ». 


ГЛАВА 4 
РАСПОЗНАВАНИЕ ОБРАЗОВ 


4.1. ПРОБЛЕМА РАСПОЗНАВАНИЯ ОБРАЗОВ 


Человеческий мозг, так же как и мозг животных, с самого 
своего рождения и на протяжении всей жизни ежеминутно реша- 
ет задачи распознавания образов. Ребенок или детеныш животно- 
го с первых минут своего появления на свет узнает пищу, мать, 
ее голос, окружающие предметы. По мере взросления ребенок 
учится узнавать свои игрушки, комнату, дом, множество необхо- 
димых предметов, лица друзей, их речь, музыку, буквы, слова, 
КНИГИ И Т.Д. 

В своей повседневной жизни человек настолько легко справля- 
ется с задачами распознавания, что это считается само собой ра- 
зумеющимся. Между тем, попытки моделирования на компьюте- 
рах этих высокоинтеллектуальных функций наталкиваются на весь- 
ма серьезные трудности. 

В настоящее время наибольших успехов удалось добиться в рас- 
познавании зрительных образов, таких как печатные символы. Не 
вызывает сомнений полезность известных программ распознава- 
ния текстовой информации — ЕіпеКеайег и СипеіЕогт. Функции 
обнаружения и распознавания военных объектов противника уже 
давно закладываются в бортовые компьютеры ракет, самолетов, 
кораблей и подводных лодок. 

Какие идеи и принципы могут быть заложены в основу распоз- 
нающих систем? Первое, что приходит в голову, — действовать 
«с позиции грубой силы»: заложить в компьютер как можно боль- 
ше известных образов-шаблонов и сравнивать их с поступающи- 
ми для распознавания неизвестными образами. Однако этот путь 
сразу заводит в тупик. Предположим, что зрительное изображе- 
ние считывается с помощью стандартной системы светочувстви- 
тельных элементов — 32 позиции по ширине и 48 по высоте, т.е. 
всего 1536 элементов. Но даже на такой грубой сетке можно вос- 
принять порядка 10460 возможных образов. Налицо комбинатор- 
ный взрыв. Хранить в памяти такое число шаблонных изображе- 
ний и осуществлять с ними сравнение поступающих на вход об- 
разов невозможно. 

Поэтому на практике системы распознавания на первой ста- 
дии обязательно обрабатывают изображение и выделяют харак- 
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терные признаки, качественные или количественные. Таким об- 
разом, количество информации для распознавания существенно 
уменьшается. 

Следующая идея, которая обычно используется в распознаю- 
щих системах, — это идея обучения. Она является обязательным 
элементом многих современных интеллектуальных систем. Мы рас- 
смотрим ее реализацию на примерах первых интеллектуальных 
систем, ставших классическими, — пандемониуме Селфриджа и 
персептроне Розенблатта. 


4.2. ПАНДЕМОНИУМ СЕЛФРИДЖА 


Как уже отмечалось, системы распознавания строятся таким 
образом, что на первом этапе поступающие на вход изображения 
обрабатываются с целью выделения наиболее существенных при- 
знаков. Эти признаки могут представлять собой определенные уча- 
стки изображения либо иметь достаточно общий характер, на- 
пример давать ответ на конкретный вопрос: «Имеется ли на изоб- 
ражении вертикальная черта?». 

Система распознавания образов, предложенная Оливером Селф- 
риджем [66] и называемая пандемониумом, состоит из элемен- 
тов — демонов. Демоны — это относительно автономные сущнос- 
ти, выполняющие элементарные функции. На самом нижнем уров- 
не находятся демоны данных, или демоны изображения (рис. 4.1), 
которые играют роль светочувствительных элементов сетчатки глаза. 


Демон решения 


Демоны понимания 
(суммируют признаки 
соответствуют объектам) 


Вычислительные демоны 
(вырабатывают признаки) 


Демоны данных 
(сетчатка глаза) 


Рис. 4.1. Пандемониум Селфриджа 
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На самом верхнем уровне находится демон решения, который 
определяет выход всей системы в целом — выдает сообщение, к 
какой категории относится узнанный образ. Ниже демона реше- 
ния имеется некоторое число демонов понимания, каждый из ко- 
торых соответствует одной из узнанных категорий. Например, пер- 
вый демон понимания соответствует кошке, второй — собаке, 
третий — человеку и т.д. Вычислительные демоны, обрабатывая 
визуальную информацию от демонов данных, вырабатывают при- 
знаки и передают их демонам понимания. 

Идея пондемониума состоит в том, что каждый демон пони- 
мания должен определить меру соответствия поступающих на его 
вход признаков категории образа, представленного этим демоном 
понимания. Чем лучше это соответствие, тем более сильный сиг- 
нал посылается к демону решения, который сравнивает интен- 
сивность сигналов и выбирает наиболее сильный. 

О. Селфридж так образно описал работу предлагаемого уст- 
ройства [66]: «Задача демона понимания состоит в том, чтобы 
исследовать поступающие признаки и выкрикивать название сво- 
его класса, если он считает, что объект относится именно к этому 
классу. Демон должен кричать громко, если он уверен в своем 
решении, и тихо, если не уверен. Однако общий шум, произво- 
димый демоном понимания, зависит не только от его стараний, 
но и от способности кричать. Последнее определяет всемогущий 
демон решения, который наделяет демонов первого порядка силь- 
ными или слабыми голосами. Таким образом, каждый демон по- 
нимания выкрикивает название своего класса с интенсивностью, 
зависящей от его собственных оценок и от силы данного ему го- 
лоса. Демон решения, который ведет себя как председатель собра- 
ния, где проводится голосование, решает, название какого клас- 
са было выкрикнуто громче всех». 

Идея, предложенная О. Селфриджем, программируется весьма 
просто. Демоны понимания всего лишь вычисляют взвешенные 
суммы сигналов, поступающих от вычислительных демонов. Так, 
і-й демон понимания вычисляет свой выходной сигнал Д; следу- 
ющим образом: 


ј 


где м; — весовые множители, устанавливающие значимость при- 
знаков, поступающих для суммирования; 4; — выходной сигнал 
/-го вычислительного демона. 

Суммирование ведется по всем вычислительным демонам. Фак- 
тически демоны понимания различаются между собой только зна- 
чениями указаных весовых множителей. 

Приведем простой пример. Пусть сущностью первого демона 
понимания является кошка, второго — собака, третьего — чело- 
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Таблица 4.1 


Весовые множители, устанавливающие значимость признаков для 
объектов распознавания 


Демон н Наличие Наличие Вес более 
аличие усов 
понимания шерсти хвоста 50 кг 


век. Зададим для них по десятибалльной шкале значения весовых 
множителей, которые поместим в табл. 4.1. 

Допустим, что на считывающем устройстве пандемониума появ- 
ляется образ в виде кошки. Вычислительные демоны сформируют 
следующие признаки: 4 = 1 (что означает — есть усы), 2, = 1 (есть 
шерсть), 2; = 1 (имеется хвост), 4 = 0 (вес не более 50 кг). 

Демоны понимания произведут обработку признаков: 

демон кошки — Р, = 10 х1 + 10 х1 + 10 х1 +0 х0 = 30; 

демон собаки — Р,= 0 х1 + 10 х1 + х1 + 0х0 = 18; 

демон человека — Р;= 2 х1 + 0 х1+0х1 + 10 х0 = 2. 

Таким образом, наибольшее число баллов набрала кошка. 

Теперь предположим, что на входе появился человек. Вычис- 
лительные демоны дадут признаки: 4, = 0 (что означает — нет 
усов), Ф = 0 (нет шерсти), 4; = 0 (нет хвоста), 4, = 1 (вес более 
50 кг). 

Демоны понимания произведут обработку поступивших при- 
знаков: 

демон кошки — Й = 10 х0 + 10 х0 + 10 х0 +0 х1 = 0; 

демон собаки — Р,= 0х0 + 10 х0 +8 х0 +0 х1 = 0; 

демон человека — Р; = 2 х0 +0 х0 +0 х0 + 10 х1 = 10. 

Вывод очевиден — на входе человек. 

Пандемониум представляет собой обучающееся устройство, и 
каждый демон понимания осуществляет настройку своего спосо- 
ба комбинации выходных сигналов вычислительных демонов. Эта 
подстройка выполняется путем подбора весов у; и определяется 
обратной связью с окружающей средой, указывающей на пра- 
вильность или полезность принимаемого решения, т.е. здесь под- 
разумевается присутствие учителя, который сообщает системе 
правильную классификацию. Конкретные алгоритмы настройки 
системы могут быть самыми разнообразными и включать в себя 
математические методы оптимизации. 

Когда весовые коэффициенты более-менее подобраны и при- 
нимаемое решение близко к оптимальному, то для любого вы- 
числительного демона становится возможным вычислить его цен- 
ность для всей системы в целом. Ценность вычислительного демо- 
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на определяется тем, насколько используется его выход. Мерой 
такой ценности может быть величина 


= н (4.2) 


Определение ценности позволяет производить изменения в 
используемом множестве вычислительных демонов. Например, 
можно автоматически исключать малоценные демоны и заменять 
их другими. Таким образом система приобретает самосрганизую- 
щийся характер и ее настройка не сводится просто к самооптими- 
зации параметров. 

Автором системы были предложены два способа получения 
новых вычислительных демонов. Оба они основаны на том сооб- 
ражении, что целесообразно создавать демоны, имеющие что-то 
общее с уже существующими, которые доказали свою ценность. 
Эти методы называются слиянием и делением с мутацией. 

Слияние заключается в том, что выходные сигналы двух демо- 
нов высокой ценности комбинируются между собой, например 
по принципу «все или ничего». На рис. 4.1 на вход одного из вы- 
числительных демонов поступают сигналы от двух других демонов. 
Этот результирующий демон возник в результате слияния. 


4.3. ПЕРСЕПТРОН РОЗЕНБЛАТТА 


Способ распознавания, заложенный в пандемониуме О. Селф- 
рижда, плохо согласуется с нашими представлениями о процес- 
сах, происходящих в мозге. Поэтому этот способ характерен для 
кибернетики «черного ящика». Альтернативным подходом являет- 
ся попытка копирования процессов коры головного мозга, реа- 
лизованная в другом устройстве распознавания образа — персеп- 
троне. 

Термин «персептрон» был введен в 1950-х гг. Фрэнком Розен- 
блаттом для некоторого класса интеллектуальных систем распозна- 
вания образов, способных обучаться на опыте. Идея персептрона 
и примеры его применения для распознавания цифр и букв рас- 
смотрены в гл. 3. Здесь же мы остановимся на принципе действия 
персептрона в его первоначальном исполнении исходя из анало- 
гий с пандемониумом Селфриджа. 

Первоначально персептрон Розенблатта (рис. 4.2) содержал 
узлы трех типов. Сенсорные, или с-узлы, имитировали светочув- 
ствительные клетки сетчатки глаза. Они соответствовали демонам 
изображения, или демонам данных, пандемониума Селфриджа. 
Обычно предполагается, что с-узлы являются элементами типа 
«все или ничего», но это не обязательно. 

Следующий слой состоял из ассоциативных, или а-узлов, ко- 
торые в общих чертах соответствуют вычислительным демонам 
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Признаки 


р-узел 
(понимание) 


Рис. 4.2. Персептрон Розенблатта 


пандемониума. В первоначальных вариантах исполнения персепт- 
рона соединения, идущие от с-узлов, формировались случайным 
образом еще в процессе конструирования системы, поэтому они 
определяли некоторые случайные свойства изображения. Как и в 
пандемониуме, при обучении персептрона вычислялись данные о 
ценности каждого а-узла. Входные соединения а-узла, ценность 
которых в процессе работы оказывалась малой, аннулировались, 
после чего случайным или псевдослучайным образом устанавли- 
вался новый набор соединений. 

Выходы а-узлов были соединены с узлами реакции, или р-узла- 
ми, соответствующими демонам понимания пандемониума. В от- 
личие от пандемониума р-узел дает только ответ «да» или «нет». 

Как а-узлы, так и р-узлы персептрона представляли собой ма- 
тематические нейроны, алгоритм действия которых описан в гл. 3. 
Некоторые из соединений между узлами являлись возбуждающи- 
ми, а некоторые — тормозящими. Веса синапсов, идущих к р-узлам, 
изменялись в процессе обучения персептрона. 

Алгоритм обучения персептрона состоял в следующем. Если 
реакция р-узла являлась правильной (т.е. он срабатывал, когда 
образ принадлежал к распознаваемому классу, или не срабаты- 
вал, когда образ не принадлежал указанному классу), то веса не 
изменялись. 

Если р-узел не срабатывал, когда распознаваемый образ на 
самом деле относился к рассматриваемому классу, то веса синап- 
сов, бывших активными, увеличиваются на, некоторую величину 
с. С другой стороны, если р-узел срабатывал на образ, который не 
принадлежал распознаваемому классу, то веса активных синап- 
сов уменьшались на величину с. 

С помощью этих весов вычислялись ценности каждого а-узла, 
и если ценность была мала, то его синапсы (связи с с-узлами) 
разрушались и строились новые. 

Как уже отмечалось ранее, возможности персептрона были 
всесторонне исследованы математически. В частности, была до- 
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Рис. 4.3. Многослойный персептрон Гамбы 


казана теорема сходимости, формулировка которой приведена в 
подразд. 3.1.3. 

На рис. 4.3 приведена схема популярного в свое время много- 
слойного персептрона Гамбы, являющегося развитием изложен- 
ного выше однослойного персептрона. 

В заключение отметим, что несмотря на отмеченное сходство 
идей, персептрон в большей степени, чем пандемониум, соот- 
ветствует нашим представлениям о структуре и процессах функ- 
ционирования мозга. Возможно поэтому он оказался более эф- 
фективен и получил в наши дни дальнейшее развитие и примене- 
ние в нейросетевых и нейрокомпьютерных технологиях. 


4.4. РАСПОЗНАВАНИЕ СИМВОЛОВ 


4.4.1. Методы распознавания символов 


Распознавание символов по их графическому представлению — 
одна из самых старых и традиционных задач искусственного ин- 
теллекта. Еще в 1960 — 1970-е гг. были написаны десятки диссерта- 
ций и предложены сотни методов решения этой проблемы. Одна- 
ко только сейчас, когда сканеры и компьютеры стали общедос- 
тупны, распознавание символов получило полноценное практи- 
ческое применение. 

Все существующие в настоящее время методы распознавания 
символов можно разделить на три вида: шаблонный (эталонный), 
структурный и признаковый. 

Шаблонный метод. В большинстве систем шрифт, подлежащий 
распознаванию, хорошо известен и распознавание является лишь 
вопросом использования эталонов. В этом случае просто нужно 
ввести некоторый допуск на расхождение между символом и шаб- 
лоном с учетом дефектов печати и помарок на бумаге. 
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Можно вычислить меру соответствия между распознаваемым 
изображением и эталоном, хранящимся в памяти компьютера. 
Такой мерой может быть, например, доля общей площади изоб- 
ражения и эталона при наложении их друг на друга. 

Структурный метод. Распознаваемый объект описывается как 
граф, узлами которого являются элементы входного объекта, а 
дугами — пространственные отношения между ними. Системы, 
реализующие подобный подход, обычно работают с векторными 
изображениями. 

Структурными элементами являются линии, составляющие 
символ. Так, для буквы «р» — это вертикальный отрезок и дуга. 

Признаковый метод. Согласно этому методу изображение каж- 
дого распознаваемого символа представляется как объект в и-мер- 
ном пространстве признаков. Сами признаки устанавливаются и 
вычисляются на стадии предварительной обработки изображений. 
Полученный и-мерный вектор сравнивается с эталонными, и изоб- 
ражение относится к наиболее подходящему из них. 

Каждый искусно подобранный признак резко сокращает число 
возможных букв. Например, достаточно знать, что левый верхний 
угол буквы скруглен, и из тридцати трех букв русского алфавита 
остаются лишь девять кандидатов (а, 6, е, з, о, с, Фф, э, я). Букв, 
содержащих две «ноги» (вертикальные отрезки на всю высоту бук- 
вы) всего десять (и, й, л, м, н, п, ц, ш, щ, ы). Таким образом, 
задав несколько простых вопросов, можно по ответам на них од- 
нозначно определить букву. Как видим, это тот самый подход, 
который заложен в пандемониуме и персептроне. 

Все методы имеют свои недостатки, и, разумеется, лучше при- 
менять их комбинации. Теоретически это просто. Однако програм- 
мы, позволяющие подойти к практическому решению этой зада- 
чи, были созданы только в конце 1980-х гг. 

Сегодня системы распознавания текстов составляют важную 
часть большинства технологий хранения и обработки документов. 
Особенно успешно они используются студентами при выполне- 
нии курсовых и дипломных работ. 


4.4.2. Предварительная обработка изображений 


На первом этапе обработки изображений, поступающих со счи- 
тывающего устройства, решается задача фильтрации, т.е. пони- 
жения разного рода шумов (помех), вносимых измерительными 
системами и каналами связи. 

Допустим, что в компьютер поступает некоторое двумерное изоб- 
ражение, которое можно описать функцией Х(х, у), представляю- 
щей собой распределение, например, яркости, светимости, плот- 
ности. В дальнейшем эту функцию будем называть зачерненностью. 
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Для последующей обработки необходимо выполнить квантова- 
ние (дискретизацию) этой функции как по пространству, так и 
по значению зачерненности. 

Сегментация. Обычно изображение состоит из двух частей: ком- 
понентов образа, подлежащего распознаванию, и фона. Под сег- 
ментацией понимается отнесение элементов изображения либо к 
компонентам образа, либо к фону. Существуют два метода сег- 
ментации — разделение по порогу и обнаружение края. 

Разделение по порогу. Сегментация осуществляется ис- 
ключительно на основе значения функции зачерненности каждо- 
го элемента изображения. Если функция /(х, у) > Ө, где Ө — значе- 
ние некоторой пороговой величины, то соответствующий элемент 
изображения классифицируется как компонента распознаваемого 
образа, в противном случае он относится к фону. 


Элемент изображения образа (5) 
У Фон (5) 


12204 д х 


Рис. 4.4. Распределение функции зачерненности у = Хх, у) в плоскости 
х — у (а), в сечении у = 0 (6), распределение ее производной пох (в), 
модуля производной (г) и особенностей поля производной (д) 
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На сегментированном таким образом 
изображении легко выделить контуры рас- 
познаваемого образа. Обозначим через 5 не- 
которое интересующее нас подмножество 
элементов изображения, относящееся к ком- 
понентам образа, а через 5’ — дополнение 
подмножества (фон). Тогда контур будет со- 
стоять из элементов подмножества .55, кото- 
рые имеют в качестве соседних элементы 
Рис. 4.5. Правило фор- подмножества .5. Пользуясь этим правилом, 
мирования цепного несложно создать алгоритм, выявляющий 

кода контурные пикселы. 

Обнаружение края. Обычно грани- 
ца между компонентами образа и фоном характеризуется резким 
изменением функции зачерненности. Поэтому обнаружить эту гра- 
ницу можно путем дифференцирования функции (х, у) по коор- 
динатам, как схематично показано на рис. 4.4. Ложные края мож- 
но удалить, а утраченные — восстановить, используя априорную 
информацию об образе. 

Обработка сегментированных изображений. Топологические осо- 
бенности контура можно выявить, пользуясь цепным кодом. Пра- 
вило формирования цепного кода иллюстрирует рис. 4.5. Для ко- 
дирования очередного пиксела контура используются числа от 1 
до 8 в зависимости от его расположения относительно начального 
пиксела. 

По записи контура в цепном коде можно вычислить ряд при- 
знаков распознаваемого образа, в частности, площадь, ограни- 
ченную контуром (если он замкнут), кривизну в определенном 
пикселе контура, а также определить, замкнут ли контур. Можно 
установить, обладает ли контур локальной вогнутостью или вы- 
пуклостью. 


Рис. 4.6. Распознаваемый образ 5 и случайные частицы Ои О, до (а) 
и после (6) применения операции поверхностного разрушения 
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ана 2 === - — -_——-— чи > чим 0-2. 


Рис. 4.7. Изображение буквы и ее остова 
——> 


С выявленным компонентом образа можно про- 
изводить операции поверхностного разрушения (сжа- 
тия, прореживания) и наращивания (расширения). 
Эти операции применяют для улучшения качества 
изображения. Для реализации указанных операций 
необходимо перемещать некоторый структуриру- 
ющий элемент по изображению образа. Если структурирующий 
элемент полностью укладывается в подмножество 5, перемеще- 
ние структурирующего элемента продолжается дальше без моди- 
фикации изображения. Если же структурирующий элемент не вхо- 
дит в 5 полностью, то элемент изображения, соответствующий 
положению опорного пиксела структурирующего элемента, уда- 
ляется. На рис. 4.6 приведен пример этой операции. Структуриру- 
ющий элемент (см. рис. 4.6, а) состоит из центрального пиксела, 
являющегося опорным, и четырех соседних с ним пикселов. На 
рис. 4.6, б удаленные после операции поверхностного разрушения 
пикселы изображены штриховыми линиями. 

Операция, обратная поверхностному разрушению, называется 
наращиванием. Эту операцию можно также трактовать как поверх- 
ностное разрушение подмножества .5` 

В случае применения операции наращивания к подмножеству 
5 компоненты изображения расширяются — к ним добавляются 
пикселы фона, соседние с 5. 

Операции разрушения и наращивания можно применять мно- 
гократно. Таким способом можно добиться очищения изображе- 
ний — удаления малых случайных частиц (таких как О: и О, на 
рис. 4.6, а) и заполнения случайных промежутков. 

Многократное поверхностное разрушение контура в конечном 
итоге приводит к полному устранению подмножества 5. Однако с 
помощью этой же операции можно составить алгоритм, выделя- 
ющий остов изображения — линии толщиной в один пиксел, 
которые проходят посередине подмножества 5, сохраняя его то- 
пологию. Пример выделения остова приведен на рис. 4.7. 

Остовы выявляют структуру изображения, и их можно исполь- 
зовать при формулировке признаков. | 


4.4.3. Распознавание по методу Паркса 


Джоном Парксом была предложена оригинальная система вы- 
деления признаков, полезных для распознавания символов, глав- 
ным образом, букв и цифр. Система Паркса работает с остовами, 
оставшимися после применения процедур сегментации и поверх- 
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ностного разрушения (см. подразд. 4.4.2). Входное изображение 
просматривается с целью обнаружения отрезков прямых, кото- 
рые могут быть ориентированы различным образом. Просмотр осу- 
ществляется средствами электроники, но точно так же, как если 
бы на каждый участок исходного массива, содержащий 7 х 7 пик- 
селов, накладывалась решетка, состоящая из 7 х 7 фотоэлементов. 
Эта решетка движется по изображению слева направо, перемеща- 
ясь каждый раз на один пиксел. Пройдя таким образом строку, 
решетка опускается на один пиксел вниз и снова перемещается 
слева направо. В каждом положении регистрируется выходной сиг- 
нал каждого фотоэлемента и производятся определенные сравне- 
ния между группами фотоэлементов. 

На рис. 4.8 показано, какие сравнения могут осуществляться между 
подмножествами фотоэлементов. Среднее из значений фотоэлемен- 
тов, помеченных знаком «+», сопоставляется со средним из значе- 
ний, помеченных знаком «-». Если оказывается, что изображение 
более темное под ячейками «+», то мы получаем данные относи- 
тельно возможности присутствия в этой области горизонтального 
отрезка. Строки фотоэлементов взяты длиной всего в пять пикселов, 
что позволяет не слишком строго отбирать линии по направлению. 

Аналогичное сопоставление данных, полученных от фотоэле- 
ментов, составляющих вертикаль, выделяет отрезки линий, рас- 
положенных примерно вертикально. По такому же принципу вы- 
деляются и наклонные линии. 

Таким образом, исходное множество пикселов, в которых была 
указана яркость, превращается в массив ячеек, несущих инфор- 
мацию о наличии отрезка прямой, идущего в том или ином на- 
правлении. Так осуществляется переход к признакам. 


Рис. 4.8. Расположение пикселов при поиске горизонтальных (а) 
и наклонных (6) отрезков изображения 
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Новый массив опять рассматри- 
вается с помощью ячейки 7 х 7 
(рис. 4.9), которая при определен- 
ных условиях указывает на наличие 
некоторого морфологического при- 
знака символа. Таким признаком 
может быть изменение направления 
линии; острые, прямые или тупые 
углы; слияние или пересечение ли- 
ний. Всего получается 54 различных 
морфологических признака. 

Представление символа сводится 
к перечислению его морфологиче- 
ских признаков с указанием их при- рис. 4.9. Пример заполнения ре- 
мерного расположения. Простая про- шетки на втором этапе скани- 
грамма, составленная на основе ста- рования: 
тистических данных, собранных на р наличие горизонтального уча- 
свободно написанных цифрах, по- стка; Г — наличие вертикального 
зволяет осуществлять довольно на- участка; Ри 4 — наличие наклон- 
дежное распознавание. ат нон 

Система выделения признаков, 
предложенная Парксом (первоначальный просмотр изображения 
с помощью решетки и обнаружение отрезков прямых) очень 
хорошо соответствует процессу, который происходит в зритель- 
ной коре мозга животных на начальных этапах обработки изоб- 
ражений. Поэтому метод Паркса можно классифицировать как 
нейрокибернетический подход. 


4.4.4. Современные системы распознавания текстов 


В настоящее время получили распространение две конкуриру- 
ющие между собой системы распознавания текстовой информа- 
ции — ЕіпеКеайег (компания «Бит») и СипеЕогт (компания 
«Сортйуе ТесһпоІорлеѕ»). Разработчики этих систем тщательно 
оберегают свои ноу-хау, однако некоторые принципы, использу- 
емые этими программами, становятся известными. 

Основные принципы работы системы ЕшеКеадег. Компанией 
«Бит» была разработана специальная технология распознавания 
символов, которая получила название фонтанного преобразова- 
ния (от англ. Юпё — шрифт), а на ее основе — коммерческий 
продукт — система оптического распознавания ЕшевВеадег. 

В основе фонтанного преобразования лежит так называемый 
принцип целостности. В соответствии с ним любой воспринимае- 
мый объект рассматривается как целое, состоящее из частей, свя- 
занных между собой определенными отношениями. 
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Для выделения целого требуется определить его части. Части 
же, в свою очередь, можно рассматривать только в составе целого. 
Поэтому целостный процесс восприятия может происходить только 
в рамках гипотезы о воспринимаемом объекте — целом. 

При распознавании текста человеком любое решение прини- 
мается путем последовательного выдвижения и проверки гипотез 
с привлечением знаний как о самом исследуемом объекте, так и 
о содержании всего текста. 

Первый шаг восприятия — это формирование гипотезы о вос- 
принимаемом объекте. Гипотеза может формироваться как на ос- 
нове априорной модели объекта, контекста и результатов провер- 
ки предыдущих гипотез (процесс «сверху вниз»), так и на основе 
предварительного анализа объекта («снизу вверх»). Второй шаг — 
уточнение восприятия (проверка гипотезы), при котором произ- 
водится дополнительный анализ объекта в рамках выдвинутой 
гипотезы и в полную силу привлекается контекст. 

Каждая гипотеза должна быть объектом, который можно было 
бы оценить или сравнить с другими. Гипотезы выдвигаются пос- 
ледовательно, а затем объединяются в список и сортируются на 
основе предварительной оценки. Для окончательного выбора ги- 
потезы активно используются контекст и другие дополнительные 
источники знания. 

Как уже отмечалось выше, сегодня известны три подхода к 
распознаванию символов — шаблонный, структурный и призна- 
ковый. Принципу целостности отвечают лишь первые два. Поэто- 
му компания «Бит» принципиально не использует признаковый 
подход. Вместе с тем разработчики ЕтевВеадег обращают внима- 
ние на недостатки шаблонного и структурного подходов. 

Шаблонные системы довольно устойчивы к дефектам изобра- 
жения и имеют высокую скорость обработки входных данных, но 
надежно распознают только те шрифты, шаблоны которых им 
известны. Если распознаваемый шрифт хоть немного отличается 
от эталонного, шаблонные системы могут делать ошибки даже 
при обработке очень качественных изображений. 

К недостаткам структурных систем относится их высокая чув- 
ствительность к дефектам изображения, нарушающим составля- 
ющие элементы. Кроме того, векторизация изображений сама по 
себе может добавлять дополнительные дефекты. 

Фонтанное преобразование, предлагаемое разработчиками си- 
стемы ЕшеКеадег, по их мнению, совмещает в себе достоинства 
шаблонной и структурной систем и позволяет избежать недостат- 
ков, присущих каждой из них по отдельности. 

В основе этой технологии лежит использование структурно- 
пятенного эталона (термин введен разработчиками системы). Изоб- 
ражение представляется в виде набора пятен, связанных между 
собой п-арными отношениями, задающими структуру символа. Эти 
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отношения, т.е. расположение пятен друг относительно друга, об- 
разуют структурные элементы, составляющие символ. Так, отре- 
ок — это один тип й-арных отношений между пятнами, эллипс — 
другой, дуга — третий. 

Другие отношения задают пространственное расположение 
образующих символ элементов. Используются связи между струк- 
турными элементами, которые определяются либо метрическими 
характеристиками этих элементов (например, «длина больше»), 
либо их взаимным расположением на Изображении (например, 
«правее», «соприкасается»). 

При задании структурных элементов и отношений применя- 
ются конкретизирующие параметры, позволяющие доопределить 
структурный элемент или отношение при использовании этого 
элемента в эталоне конкретного класса. Конкретизирующими мо- 
гут являться, например, параметры, задающие диапазон допус- 
тимой ориентации отрезка или предельное допустимое расстоя- 
ние между характерными точками структурных элементов. При- 
мер задания конкретизирующих параметров для буквы «А» приве- 
ден на рис. 4.10. 

Конкретизирующие параметры используются также для опре- 
деления качества распознавания. Так, если вычисленный конкре- 
тизирующий параметр находится где-то посередине допустимого 
интервала, то качество распознавания считается высоким, в про- 
тивном случае — низким. Таким образом, система сама себе ста- 
вит оценку. 

Построение и тестирование структурно-пятенных эталонов для 
классов распознаваемых объектов — процесс сложный и трудоем- 
кий. База изображений, которая используется для отладки описа- 
ний, должна содержать примеры хороших и плохих (предельно 
допустимых) изображений для каждой 
графемы, а изображения базы разделя- а 
ются на обучающее и контрольное мно- 
жества. 

Разработчик описания предваритель- 
но задает набор структурных элементов 
(разбиение на пятна) и отношения меж- 
ду ними. 

Система обучения по базе изображе- 
ний автоматически вычисляет парамет- 
ры элементов и отношений. Полученный 
эталон проверяется и корректируется по 
контрольной выборке изображений дан- Рис. 4.10. Пример задания 
ной графемы. По этой же выборке про- конкретизирующих 
веряется результат распознавания, т.е. параметров: 
оценивается качество подтверждения оџ<а<о; К < Р К, 
гипотез. у 


107 


Распознавание с использованием структурно-пятенного этало- 
на происходит следующим образом. Эталон накладывается на изоб. 
ражение, и отношения между выделенными на изображении пят: 
нами сравниваются с отношениями пятен на эталоне. Если выде- 
ленные на изображении пятна и отношения между ними удовлет- 
воряют эталону некоторого символа, то данный символ добавляет- 
ся в список гипотез о результате распознавания входного изобра- 
жения. Гипотезы сортируются согласно оценкам их качества, и пре- 
имущество отдается той, которая имеет максимальный балл. 

Основные принципы работы системы СипеЕогт. По мнению 
разработчиков Сипе!Еогт, их система является более интеллекту- 
альной, поскольку задача распознавания текста в ней решается 
на основе взаимодействия структурного, признакового, растро- 
вого, дифференциального и лингвистического уровней. 

Работает система по принципу «одной кнопки». Это означает, 
что при нажатии кнопки «Сканируй и распознавай» запускается 
весь процесс обработки документа: сканирование, фрагментация 
страницы на текстовые и графические блоки, сегментация, сжа- 
тие — расширение, выделение остовов, распознавание текста, про- 
верка орфографии и формирование выходного файла. 

Интеллектуальный алгоритм позволяет автоматически подобрать 
оптимальный уровень яркости сканера (адаптивное сканирование) 
в зависимости от фона документа, сохранить иллюстрации или, в 
зависимости от решаемой задачи, удалить ненужные графические 
элементы для максимального сокращения последующего редак- 
тирования. | 

За распознавание текста отвечает целый ряд модулей (сканирова- 
ния, выбора яркости, предобработки документа, фрагментации 
и др.), каждый из которых решает свою задачу. На вход модуля распоз- 
навания поступает полученное после сканирования изображение. 

В Сипе!Еогт используется несколько методов распознавания. 
Образ каждого символа раскладывается на отдельные элементы — 
события. К примеру, событием является фрагмент от одной ли- 
нии пересечения до другой. Совокупность событий представляет 
собой компактное описание символа. 

Другие методы основаны на использовании соотношения «масс» 
отдельных элементов символов и описании их характерных при- 
знаков (закругления, прямые углы и т.д.). По каждому из этих 
описаний существуют базы данных, в которых находятся соот- 
ветствующие эталоны. Поступающий на обработку элемент изоб- 
ражения сравнивается с эталоном, а затем на основании этого 
сравнения решающая функция выносит вердикт о соответствии 
изображения конкретному символу. 

Таким образом, в отличие от ЕіпеКеайег, здесь в полной мере 
используется признаковый подход, в частности, рассмотренный 
в подразд. 4.4.3 метод Паркса. 
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Поскольку в системе Сипе!Когт используется не один, а сразу 
несколько методов распознавания, распознаваемый образ срав- 
нивается не с одним, а с несколькими типами эталонов, пред- 
ставленными различными способами. 

Кроме того, существуют алгоритмы, которые позволяют рабо- 
гать с текстами низкого качества. Так, для разрезания «склеен- 
ных» символов существует метод оценки оптимальных разбиений 
(ноу-хау не раскрываются). И, напротив, для «рассыпанных» эле- 
ментов разработан алгоритм их соединения. 

В версии СипеіЕогт 96 впервые применен алгоритм самообуче- 
ния. Принцип его состоит в следующем. В каждом тексте присут- 
ствуют четко и нечетко пропечатанныє символы. Если после того, 
как система распознала текст (как это делает обычная система, 
например предыдущая версия СипеЕогт 2.95), выясняется, что 
точность оказалась ниже пороговой, то производится дораспозна- 
вание текста на основе шрифта, который генерируется системой 
по хорошо пропечатанным символам. 

Как утверждают разработчики, результаты применения Сипе!- 
Богт 96 показали, что использование самообучающихся алгорит- 
мов позволяет повысить точность распознавания низкокачествен- 
ных текстов в 4—5 раз. Но главное преимущество заключается в 
том, что самообучающиеся системы обладают гораздо большим по- 
тенциалом повышения точности распознавания, открывая новое 
направление в теории распознавания символьной информации. 

Не ограничиваясь геометрическими методами распознавания, 
разработчики системы Сипе!Еопт дополнили ее орфографическим, 
синтаксическим и семантическим дораспознаваниями и контро- 
лем. При этом разработчикам пришлось решить две важные задачи. 
Во-первых, было необходимо реализовать быстрый доступ к боль- 
шому (порядка 100 000 слов) словарю. В результате удалось пост- 
роить систему хранения слов, где на каждое слово уходило не 
более одного байта, а доступ осуществлялся за минимальное вре- 
мя (ноу-хау не раскрывается). Во-вторых, потребовалось постро- 
ить систему коррекции результатов распознавания, ориентиро- 
ванную на альтернативность событий (подобно системе проверки 
орфографии). 

Сама по себе альтернативность результатов распознавания оче- 
видна и обусловлена хранением коллекций букв вместе с оценка- 
ми соответствия. Словарный контроль с использованием словар- 
ной базы приводил к изменению этих оценок. В итоге применение 
словаря позволило реализовать схему дораспознавания символов. 

Таким образом, рассматриваемая система обладает свойством са- 
мообучения. Она самосовершенствуется в процессе работы, настра- 
иваясь на конкретный текст. Критерий качества распознавания, не- 
обходимый при построении алгоритма самообучения, формируется 
с помощью конкретизирующих параметров, словаря, контекста. 
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Сотри ег 


Рис. 4.11. Схема распознавания текста с помошью персептрона с предва- 
рительным выделением признаков по методу Паркса (слева) и путем 
непосредственного сканирования изображения (справа) 


Последняя версия Сипе!ЕРопп 2000 отличается, главным обра- 
зом, тем, что в ней используется несколько алгоритмов распознава- 
ния на основе нейронных сетей. Их применение, по утверждению 
разработчиков, повысило качество распознавания текстов на 60 %. 

Заметим, что на вход нейросети могут подаваться признаки 
образов, выделенные, например, по методу Паркса, или резуль- 
таты непосредственного сканирования. Эти две схемы использо- 
вания нейросети схематично изображены на рис. 4.11. 


4.5. ИСПОЛЬЗОВАНИЕ ГЕОМЕТРИЧЕСКИХ ИНТЕРПРЕТАЦИЙ 


Задаче распознавания образов по признакам можно придать гео- 
метрическую интерпретацию. Например, если для характеристики 
образа человека использовать всего два признака — рост и вес, то в 
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системе координат рост — вес множество жителей европейского 
континента займет область, несколько отличную от множества 
жителей азиатских стран. Множество азиат А расположится несколько 
левее и выше множества европейцев В (рис. 4.12, а). 

Изображенные на рис. 4.12, а множества можно рассматривать 
как эталонные и использовать для распознавания (классифика- 
ции) новых объектов (людей), сравнивая расстояния от точки ДА, 
характеризующей исследуемый объект, до середины эталонных 
множеств Аи В. Эталонные множества могут пересекаться между 
собой, а могут находиться на значительном расстоянии друг от 
друга. Естественно, что пересекающиеся эталонные области ме- 
нее пригодны для решения задачи распознавания образов. 

Ю. В.Девингталем [9, 10] показано, что эталонные множества 
всегда могут быть отделены друг от другас помощью преобразо- 
ваний системы координат и, таким образом, между ними может 
быть проведена некоторая гиперплоскость, разделяющая эти мно- 
жества (рис. 4.12, 6). Рассмотрим механизм преобразования систе- 
мы координат более подробно. Как известно, в №мерном про- 
странстве расстояние между двумя точками а и В с координатами 
а,, Б, (п = 1, 2, ..., № измеряется евклидовой метрикой 


а(а,Ь) = Э (а, -ь,.}2. (4.3) 
п=] 


В данную формулу удобно ввести весовые коэффициенты 


(4.4) 


Весовые множители нужны для отражения того факта, что от- 
дельные признаки объектов имеют разную степень важности для 


Вес Вес’ Разделяющая 


гиперплоскость 


Рост Рост’ 
а б 


Рис. 4.12. Эталонные множества Аи В до (а) и после (6) преобразова- 
ния координат: 


К — объект, подлежащий классификации 
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распознавания образов. Например, при распознавании такой бо- 
лезни, как шизофрения, температура больного не имеет суще- 
ственного значения, и для нее можно принять и, = 0. 

При геометрической трактовке распознавания образов прибе- 
гают к интерпретации процесса в виде некоторого преобразова- 
ния системы координат, при котором объекты одного класса сжи- 
маются, а множества различных классов удаляются друг от друга. 
Существуют линейные и нелинейные способы преобразования. 
В общем виде линейное преобразование пространства признаков 
задается матрицей 


"| 49] ... УМ 
Мор №22 ... Му 

№ = . (4.5) 
Ум! Жу... Умм 


Если в исходной системе координат заданы векторы объектов 
а (а, ао, ..., ам) и Б (В, Б, ..., Бу), то преобразованные векторы а’ 
и в’ определяются соотношениями: 


М 
а = а; а, = Уау, 
Ни 
м 
ГА в ГА 
Б = БИ; р, = У Би. 
= 


Евклидово расстояние между элементами в преобразованном 
пространстве 
> 


п=1 


М 2 
а(а', Б) = У; (а; == | . (4.6) 
=] 


і 


Диагональные элементы матрицы 
преобразований И определяют масш- 
табные коэффициенты сжатия вдоль 
координатных осей, а остальные эле- 
менты матрицы — поворот координат- 
ных осей. В частном случае, если в мат- 
рице преобразований все недиагональ- 
ные элементы равны нулю, т.е. и; = 0, 
то равенство (4.6) принимает вид 


а(а', Б”) = 


М 
2. м2, (а, ее р, )? ) (4.7) 


Рис. 4.13. К задаче сжатия 


множества в п-мерном 
пространстве что совпадает с (4.4). 
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Рассмотрим частный случай, когда поворот координатных осей 
не производится, а изменяется только масштаб. Требуется опреде- 
лить такие коэффициенты сжатия, чтобы в новой системе коор- 
динат расстояния между объектами множества были минималь- 
ными, т.е. чтобы было минимальным расстояние между текущи- 
ми точками Ри О множества (рис. 4.13): 


М М 
р? п > м2, (х, — Же), (4.8) 


где р — номер точки ЁР; а — номер точки О. 

Сумма в (4.8) делится на М(М-1), а не на М?, так как при 
р = 4 расстояние между точками равно нулю. 

Для решения поставленной задачи требуется наложить допол- 
нительные условия на весовые коэффициенты. Например, можно 
потребовать, чтобы выполнялось равенство 


М 
УЕ. (4.9) 
п=і 


Это требование наиболее распространено и означает, что ве- 
совые множители могут меняться от 0 до 1 и пространство при- 
знаков будет сжиматься по осям. В процессе преобразования про- 
исходит дискриминация несущественных признаков, у которых 
весовые коэффициенты значительно меньше единицы. 

Помимо (4.9) используют и другие условия, например 


М 
П Мп — 1. (4.10) 
п=1 


В этом случае площади (объемы), занимаемые областями клас- 
сов признаков до и после преобразования координат, равны друг 
другу. 

Итак, задача обучения состоит в минимизации функционалов 
(4.8), составленных для множеств Аи В (обозначим их р2и 02) с 
дополнительным условием (4.9) или (4.10). Эта задача решается 
путем введения множителя Лагранжа А, объединяющего функци- 
оналы с одним из дополнительных условий: 


М 

Е(ю„) = Рі + рр - МЎ иһ, – 1); (4.11) 
п=1 

М 

Е") = р? +08 – ^( Уи — 1). (4.12) 
п=1 


Продифференцировав обобщенные функционалы (4.11) или 
(4.12) по „и приравняв производные к нулю, получим систему 
алгебраических уравнений относительно и,,„. 
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После того как обучение выполнено (весовые множители оп- 
ределены, пространство преобразовано), решается задача собствен- 
но распознавания. 

Пусть даны два эталонных множества А и В (см. рис. 4.12, а) и 
требуется определить, к какому из них относится некоторый объект К. 
Для решения этой задачи в преобразованном пространстве вы- 
числяется среднеквадратичное расстояние от А до координат каж- 
дого множества: 


в Ух - хи: (4.13) 
Е і=1 п= 
Мв М 

с = (т — хв)? 7 (4.14) 


где М, — число точек эталонного множества 4; М; — число точек 
эталонного множества В. 
Решающее правило состоит в следующем: 


К є А, если 41 < а; 
К є В, если 42 > 43, 


причем в каждой из функций 2,2 и 2; коэффициенты у,, ищутся 
применительно к первому или второму множеству эталонов. 


Контрольные вопросы 


1. Опишите принцип действия пандемониума Селфриджа. 

2. Чем различаются между собой демоны понимания в пандемониуме 
Селфриджа? 

3. Каким образом происходит обучение пандемониума Селфрижда? 

4. Опишите принцип действия персептрона Розенблатта. 

5. Перечислите методы распознавания символов. 

6. В чем заключается предварительная обработка изображений? 

7. В чем состоит идея цепного кода? 

8. Для чего нужны операции поверхностного разрушения и сжатия? 

9. Каким образом осуществляется выявление признаков изображения 
по методу Паркса? 

10. Назовите основные принципы работы системы ЕтеКеадег. 

11. Каким образом осуществляется обучение системы СипеіЕогт? 

12. Приведите геометрическую интерпретацию признакового распоз- 
навания. 

13. С какой целью производятся преобразования координат при рас- 
познавании с помощью евклидовых пространств? 

14. Дайте математическую формулировку линейного преобразования 
координат. Какую роль в преобразовании выполняют диагональные и 
недиагональные коэффициенты матрицы преобразующих коэффициен- 
тов? 


ГЛАВА 5 
ИНТЕЛЛЕКТУАЛЬНЫЕ ИГРЫ 


5.1. ПОНЯТИЯ ИГРЫ И ДЕРЕВА ВОЗМОЖНОСТЕЙ 


Интеллектуальные игры — это одна из областей искусственно- 
го интеллекта, где оптимистические прогнозы ученых 50-х годов 
прошлого века, хотя и с большим опозданием, но полностью сбы- 
лись. В 1998 г. в Нью-Иорке в матче Оеер Вше против Гарри Кас- 
парова компьютер впервые победил чемпиона мира по шахматам. 
Матч состоял из шести партий и завершился со счетом 3,5 на 2,5 
в пользу компьютера. 

Помимо эмоционально-развлекательного и философского зна- 
чения интеллектуальные игры представляют еще и практический 
интерес для развития самой теории искусственного интеллекта. 
Дело в том, что в современных программах-игроках наиболее полно 
удалось реализовать центральную идею искусственного интеллек- 
та — обучение, самообучение и самоорганизацию компьютерных 
программ. Кроме того, понятие «игра» имеет более широкое зна- 
чение. Игрой можно считать многие экономические, политиче- 
ские, военные и другие конфликты. 

Проблемой создания игровых программ, в частности, шах- 
матных, занимались многие ученые-кибернетики, такие как Тью- 
ринг, Стречи, Шеннон, Нильсон. Принципы работы, предло- 
женные каждым из разработчиков, опираются на исследования 
дерева возможных продолжений игры. Корневая вершина дерева 
возможностей представляет собой текущее положение фигур на 
шахматной доске, а работа программы состоит в выборе очеред- 
ного хода. 

В середине партии у игрока обычно имеется около 30 возмож- 
ных вариантов следующего хода. Возникающие в результате их 
перебора конфигурации представляются как дочерние вершины 
для данной корневой вершины. В каждой из дочерних вершин воз- 
можно около 30 ответов противника, так что для изображения 
результирующих конфигураций потребуется еще около 900 вер- 
шин и т.д. Дерево быстро разрастается (рис. 5.1), что приводит к 
комбинаторному взрыву. 

Все вершины могут быть двух типов. В одних очередной ход 
предстоит делать компьютеру, в других — его противнику. Первые 
называют альфа-вершинами, вторые — бета-вершинами. Таким об- 
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Комбинаторный взрыв 


Рис. 5.1. Дерево возможных продолжений шахматной игры 


разом, дерево возможностей представляет собой чередующиеся 
слои альфа- и бета-вершин. 

Если бы дерево можно было обследовать полностью, т.е. вплоть 
до листьев, представляющих собой все возможные окончания в 
данной игре, то имелась бы возможность выбрать ход, обеспечи- 
вающий для компьютера выигрыш независимо от реакций про- 
тивника. Такая возможность имеется в простейших играх, таких 
как крестики—нолики, каллах и др. В интеллектуальных играх типа 
шахмат удается построить и просмотреть лишь небольшую часть 
дерева возможностей. В этом случае говорят, что дерево возмож- 
ностей подвергается подрезке, а конечные вершины, ниже кото- 
рых дерево отсечено, называют терминальными вершинами. 


5.2. МЕТОДЫ ПОДРЕЗКИ ДЕРЕВА ВОЗМОЖНОСТЕЙ 


В программах-шахматистах для каждой вершины обычно опре- 
деляются числовые оценки силы позиций каждого из партнеров. 
Такую оценку называют оценивающим полиномом, или оценива- 
ющей функцией: 

Ау = Ка; + Ка, + Ка + 69. (5.1) 
где К, Б, Аз — весовые коэффициенты; а, а, аз — некоторые 
признаки силы позиции. 

Обычно оценивающая функция равна нулю, когда позиции 
партнеров равноценны; положительна, когда преимушество за 
компьютером, и отрицательна, когда преимущество за противни- 
ком. 

Важной компонентой любой оценивающей функции является 
материальное соотношение или перевес фигур (в формуле (5.1) 
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это а!). При этом каждой фигуре придается определенное значе- 
ние ценности. 

Другой важной компонентой оценивающей функции (а>) дол- 
жна быть некая мера подвижности фигур, развитости позиции. 
Критерием подвижности может быть число допустимых ходов, 
имеющихся у игрока. Далее идет оценка контроля центра шахмат- 
ной доски (аз) и т.д. 

После того как произведена оценка каждой терминальной вер- 
шины (конечной вершины при заданной глубине обследования 
дерева возможностей), выполняется перенос результатов этих 
оценок вверх по дереву (в направлении корня дерева). Метод, ко- 
торым это достигается, называется минимаксным переходом. Он 
заключается в следующем. Для альфа-вершин принимается значе- 
ние, равное наибольшей из найденных оценок для дочерних вер- 
шин. Такое решение абсолютно оправданно, поскольку, опираясь 
на такие оценки, компьютер сделает правильный для себя ход. 
Наоборот, для бета-вершин принимается/наименьшая из оценок 
для дочерних вершин, поскольку можно предполагать, что про- 
тивник сделает ход, наименее выгодный для компьютера. В итоге 
некоторое оценочное значение будет приписано и корневой вер- 
шине. Поскольку она является альфа-вершиной, это значение бу- 
дет наибольшим среди значений для дочерних вершин. Ход, кото- 
рый выбирает компьютер, преобразует существующую на шах- 
матной доске конфигурацию, представленную корневой верши- 
ной, в конфигурацию, представленную той дочерней вершиной, 
из которой было взято значение оценки для корневой вершины. 

Аналогичный подход может быть применен в программирова- 
нии автоматов для других игр. Нильсоном была предложена оце- 
нивающая функция для игры в крестики —нолики. Пусть компью- 
тер ставит крестик, а его противник — нолик. Если конфигура- 
ция, которую предстоит оценить, содержит три крестика подряд 
(т.е. компьютер выигрывает), то оценивающая функция прини- 
мает наибольшее значение, например +10. Если подряд стоят три 
нолика, то оценивающая функция принимает наименьшее значе- 
ние, например -10. Для ситуаций, которые не являются выиг- 
рышными ни для одного из игроков, оценивающую функцию 
Нильсон предложил вычислять так: число строк, столбцов и диа- 
гоналей из восьми возможных, все еще открытых для компьюте- 
ра, т.е. не заблокированных ноликами, минус число строк, стол- 
бцов и диагоналей, все еще открытых для противника, т.е. не заб- 
локированных крестиками. Примеры оценивающих функций Ниль- 
сона для различных ситуаций приведены на рис. 5.2. 

Как видно из рис. 5.3, использование такой оценивающей фун- 
кции не годится, если дерево имеет единичную глубину, т.е. со- 
стоит только из корневой вершины и ее дочерних вершин. Для 
каждого из пяти возможных ходов оценивающая функция оказы- 
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х јо х јо вается равной нулю. Таким образом, 

х хГ |0 предлагаемый метод не позволяет 
(+10) (-10) (5-2=3) выбрать единственно правильный ход 
(г) — в левый нижний угол. 

Однако, как видно из рис. 5.4, 
просмотр вперед на два уровня по- 
зволяет компьютеру выбрать хороший 
ход. Под каждой терминальной вер- 
шиной на рис. 5.3 и 5.4 указано в скоб- 
ках значение оценивающей функции, 
вычисленной по методике Нильсона. 
Для нетерминальных вершин анало- 
гичные значения получаются путем применения минимаксной 
процедуры. 

Деревья, представленные на рис. 5.3 и 5.4, подрезаны путем 
отсечения их на определенной глубине. Однако установлено, что 
можно добиться более высокого качества игры, если использо- 
вать другие методы отсечения, получившие общее название ме- 
тодов прямого усечения. 

Например, в одном из методов прямого усечения выделяют 
мертвые, или спокойные, позиции, тогда как другие позиции оп- 
ределяют как живые, или беспокойные. Вершина с большей веро- 
ятностью может быть принята за терминальную (конечную), если 
представляемая ею конфигурация классифицируется как мертвая. 
Разделение же позиций на живые и мертвые осуществляется с 
помощью эвристических правил. Например, позиция классифи- 
цируется как живая, если существует угроза взятия фигур (речь 
идет о шашках или шахматах). 

При использовании прямого усечения дерева нельзя быть аб- 
солютно уверенным, что результат поиска окажется таким же, 
как если бы дерево не подвергалось подрезке. Метод обратного 
усечения более надежен. Его иногда называют процедурой аль- 
фа— бета. Как мы видели, поиск по дереву включает в себя два 
этапа: построение дерева возможностей с последующим припи- 


а б в 


Рис. 5.2. Примеры оценива- 
ющих функций Нильсона: 


а — выиграл компьютер; б — вы- 
играл противник; в — преиму- 
щество за компьютером 


а Хх 10 
х 


(0) 


н ра 


(0) (0) (0) (0) (0) 
а б в г д 


Рис. 5.3. При единичной глубине дерева компьютер не видит единствен- 
но правильного хода — г; а, 6, в, д — неправильные ходы компьютера 
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Рис. 5.4. Выбор хода в игре в крестики — нолики при глубине дерева, 
равной двум (все варианты, кроме варианта г, означают поражение 
компьютера) 
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Рис. 5.5. Типичное поведение оценивающей функции (ОФ) в «мерт- 
вой» (а), «живой» (6) альфа-вершине 


сыванием его терминальным вершинам числовых значений оце- 
ночной функции, а затем применение минимаксной процедуры 
для передачи значений вверх по дереву. Процедура альфа — бета 
предполагает объединение этих двух этапов так, чтобы значения 
оценочных функций связывались с вершинами по мере формиро- 
вания дерева. Применение минимаксной процедуры приводит к 
тому, что оценивающие функции для каждой альфа-вершины с 
ростом дерева могут только увеличиваться, а для каждой бета-вер- 
шины — только уменьшаться. Наблюдение за динамикой измене- 
ния оценивающих функций (рис. 5.5) дает возможность понять, 
что некоторые из еще не построенных вершин никак не могут 
повлиять на конечный результат, и отказаться от целых ветвей. 
Таким образом, обратное усечение состоит в отказе от построения 
неперспективных вершин, причем распознавание таких вершин 
ведется путем изучения динамики их оценивающих функций. 

В настоящее время эффективность шахматных программ посто- 
янно возрастает. Существуют программы, которые легко обыгры- 
вают шахматистов-дилетантов и бросают вызов профессионалам. 
Тем не менее, шахматные программы работают по принципу «гру- 
бой силы», который основан на построении и исследовании де- 
рева возможностей. 

Очевидно, что подобный способ выбора хода не соответствует 
тому, как поступает в этом случае человек. Шахматисты обычно 
предпринимают весьма ограниченный поиск, учитывая лишь не- 
большое число возможностей. Обсуждая между собой шахматные 
партии, шахматисты говорят не о поиске по дереву возможностей, 
а прибегают к таким эмоциональным понятиям, как атака, защи- 
та, угроза, нападение. Часто шахматисты вообще не рассматривают 
варианты, а делают только один единственно правильный ход. 

Поэтому наряду с увеличением мощности шахматных программ 
появилось новое направление, связанное с насыщением их эври- 
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стиками, заимствованными из шахматных партий, т.е. оснащение 
шахматных программ базами знаний. Немаловажную роль играет 
применение методов обучения и самообучения игровых программ. 


5.3. Идеи обучения игровых программ 


Представляет интерес программа для игры в шашки, разрабо- 
танная Артуром Сэмюэлем (см. [48]). В этой программе Сэмюэлю 
удалось реализовать две формы обучения: накопление и обобще- 
ние. 

Накопление сводится к хранению в памяти компьютера боль- 
шого числа конфигураций на шашечной доске из тех, что реаль- 
но (а не гипотетически) возникают в ходе шашечных игр. Вместе 
с каждой конфигурацией в памяти хранится также ее числовая 
оценка, которая получилась путем построения дерева, примене- 
ния оценивающей функции к терминальным вершинам и переда- 
чи значений вверх по дереву посредством минимаксной процеду- 
ры. Имея в памяти некоторое множество конфигураций вместе с 
их оценками, программа в процессе работы ищет соответствие 
между конфигурацией, отвечающей каждой из вершин дерева, и 
конфигурациями из числа запомненных. Если такое соответствие 
установлено, то хранимая в памяти оценка передается в эту вер- 
шину. В результате отпадает необходимость строить какую-либо 
ветвь, которая могла бы возникнуть под этой вершиной. 

Таким образом, накопление позволяет либо экономить время, 
либо достичь лучшего качества игры за то же время путем ис- 
пользования несколько большего дерева. 

Естественно, размер списка конфигураций, который может 
храниться в памяти и использоваться, ограничен сверху. А. Сэмю- 
эль построил свою программу так, что наименее употребляемые 
конфигурации вычеркиваются, а часто встречающиеся остаются 
в памяти компьютера. 

Другая форма обучения, использованная А. Сэмюэлем, — обоб- 
щение. Оно позволяет программе в ходе игры улучшать свои оце- 
нивающие функции. Обычно оценивающая функция представляет 
собой полином; в простейшем виде это полином первой степени, 
или взвешенная сумма 

5 = Ка, + К,а, + Ка + . +9 
где а, а, аз — величины различных вычисляемых критериев, 
таких как материальное соотношение, подвижность, контроль 
центра шахматной доски и пр.; они взвешиваются по отношению 
друг к другу с помощью коэффициентов А, А, К:. 

Полином может быть также и более высокой степени относи- 
тельно переменных а, например, 


5 = ка + Ка) + Ка? + Каа, +... (5.2) 
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Качество игры зависит от подходящего выбора весовых коэф- 
фициентов А, А, Кз, ..., и обобщение является средством их под- 
гонки, обеспечивающей улучшение игры. Метод обобщения пред- 
ставляет собой пример оптимизации с использованием процеду- 
ры, называемой «подъем в гору». Имеется начальный набор зна- 
чений А}, А, Аз, ..., И В каждый момент времени эти коэффициен- 
ты определяют рабочую точку. Рабочая точка перемещается в пре- 
делах многомерного пространства (рис. 5.6) по мере подгонки ве- 
личин весовых коэффициентов в поисках положения, в котором 
оптимизируется определенная реакция или целевая функция. 

Чтобы воспользоваться методом подъема на гору, следует дать 
программе возможность сыграть некоторое число игр с опреде- 
ленным партнером, выбрав какое-то начальное множество коэф- 
фициентов К, а затем сыграть еще некоторое число игр, сделав 
пробные изменения в положении рабочей точки. Если программа 
во втором множестве игр выигрывает чаще, то принимается но- 
вое значение Ё. В противном случае происходит возвращение к 
старой величине и производится какое-то новое пробное измене- 
ние. 

Очевидно, указанный путь поиска К, весьма далек от совер- 
шенства. Во-первых, этот путь предполагает очень медленное дви- 
жение. Во-вторых, поскольку партнер не может играть абсолютно 
ровно, необходимо, чтобы два указанных множества игр были 
достаточно емкими. 

Поэтому А. Сэмюэлем был предложен другой путь нахождения 
весовых коэффициентов во время игры, который основан на том, 
что качество игры растет с увеличением глубины просмотра дере- 
ва возможностей. Если может быть найдено средство вычисления 
оценочной функции, обеспечивающее точное совпадение пере- 
данного назад по дереву (с большой глубиной) значения оценоч- 
ной функции с результатом его прямого (с небольшой глубиной) 
определения, то такая оценка должна быть равнозначна изуче- 
нию всего полностью построенного дерева игры. 

Если 5 — результат прямой оценки с помощью оценочной 
функции, а 5, — результат передачи оценки по дереву (с большой 
глубиной), то можно считать их разность ошибкой е, где 


е=5- 5. (5.3) 


Сэмюэль сделал так, что в его программе вычислялась корре- 
ляция междуеиа,, а ит.д. Положительная корреляция между е 
и любым значением а; указывает, что соответствующий коэффи- 
циент А, следует уменьшить, а отрицательная корреляция означа- 
ет, что его надо увеличить. 

При применении указанного метода требуется уделить внима- 
ние обеспечению его устойчивости. Для повышения устойчивости 
Сэмюэль фиксировал один из весовых коэффициентов, тогда как 
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Рис. 5.6. Качество игры как многомер- Рис. 5.7. Компьютеры обучают 
ная функция весовых коэффициентов друг друга 


другие коэффициенты изменялись. Обычно это был наиболее важ- 
ный параметр, оценивающий материальное соотношение, по- 
скольку разумно полагать, что игроку всегда выгодно, чтобы его 
фигуры на доске сохранялись. 

Таким образом, А. Сэмюэлем был создан алгоритм програм- 
мы, обладающий свойством самообучения (обучение без учителя). 
Насколько нам известно, это и была первая в мире действующая 
самообучающаяся программа. 

Однако А. Сэмюэль пошел еще дальше. Он держал в своей про- 
грамме больший ассортимент критериев (0), а> и т.д.), чем тот, 
что допускался для использования в конкретной оценивающей 
функции. Используемое множество критериев видоизменялось во 
время игры: если какое-то из значений весовых множителей Ё; 
оставалось близким к нулю в течение длительного времени, то 
тот компонент оценивающей функции, к которому относился этот 
коэффициент, изымался из рабочего множества, а на его место 
ставился другой из числа ожидавших своей очереди. Изъятый кри- 
терий добавлялся к множеству ожидавших своей очереди и мог 
быть впоследствии заново внесен в оценивающую функцию. 

Возможность изменения множества критериев а; придает дан- 
ному методу обучения новый характер. Теперь его можно воспри- 
нимать как некую самоорганизующуюся систему, способную из- 
менять в процессе обучения не только свои параметры, но и струк- 
туру. 

Следующая идея А. Сэмюэля была воистину гениальной. Он зам- 
кнул игровую программу саму на себя — организовал работу про- 
граммы таким образом, что она могла вести игру и самообучаться 
непрерывно днем и ночью, причем имитировала одновременно 
двух игроков — икс и игрек (рис. 5.7) Игроку икс разрешалось 
модифицировать свою оценивающую функцию путем обобщения, 
тогда как игрок игрек пользовался фиксированной оценивающей 
функцией. Когда икс выигрывал игру, игрок игрек копировал оце- 
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нивающую функцию у игрока икс. Если же игрок игрек выигрывал 
подряд три игры, то его оценивающая функция копировалась иг- 
роком икс. Это гарантировало возможность возвращения игрока 
икс к прежнему положению в том случае, если процесс подгонки 
параметров происходил в нежелательном направлении. 

Таким образом, А. Сэмюель создал программу, которая позво- 
ляла не только правильно играть в шашки, но и улучшать страте- 
гию игры, используя опыт, накопленный в предыдущих партиях. 
Вначале А. Сэмюель с легкостью обыгрывал машину, но машина 
(ВМ 704) начала быстро совершенствоваться. Вскоре она достигла 
такого уровня, что выигрывала у А. Сэмюеля все партии подряд. 

По существу этот факт, произошедший в 1959 г., открыл но- 
вую эру в истории человечества — эру самонастраивающихся, са- 
мообучающихся, самоорганизующихся компьютеров. Компьютер 
сам, без помощи человека, научился совершенствоваться. Нетрудно 
догадаться, к чему это может привести в недалеком будущем, и 
не в ад ли ведет дорога, вымощенная благими намерениями? 

Оставив затронутую тему философам и фантастам, укажем на 
недостаток современных обучающихся игровых программ. 

Дело в том, что в современных игровых программах, как пра- 
вило, реализованы сразу две парадигмы обучения — с учителем и 
без него. Понятно, что результат обучения таких программ зави- 
сит от конкретного учителя. И очень часто вместо того чтобы учить- 
ся играть в игру, такие программы учатся обыгрывать учителя. 
Яркий пример тому мы видели несколько лет назад: после победы 
ПеерВше над Гарри Каспаровым программисты ІВМ отказались 
от матча с другими гроссмейстерами. В результате чемпион мира 
заявил, что программа просто была «натаскана» на его партиях, 
она изучила его стиль и потому просто не способна конкуриро- 
вать с другими гроссмейстерами. 

Современная шахматная программа заведомо может научиться 
выигрывать у любого, но после этого ей придется некоторое вре- 
мя перестраиваться под другого соперника. Но, если вдуматься, 
такой же недостаток имеет любой начинающий шахматист — он 
учится и в процессе обучения перенимает тактику и стратегию 
игры своего учителя. 

Остается открытым вопрос о способности игровых программ к 
творчеству. Смогут ли они вырабатывать принципиально новые 
решения, стратегии, стили, манеры, или это навсегда останется 
прерогативой человека? 

Но компьютерное творчество — это тема следующей главы. 


Контрольные вопросы и задания 


1. Что представляет собой дерево возможностей? 
2. Какие вершины дерева возможностей называются терминальными? 
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3. По каким принципам осуществляется подрезка деревьев возможно- 
стей? 

4. По каким принципам формируется оценивающая функция? 

5. Объясните суть минимаксного перехода. 

6. Назовите способы улучшения оценивающих функций. 

7. В чем состоят идеи А. Сэмюэля, касающиеся самообучения и само- 
организации игровых программ? 

8. Каким образом происходит обучение современных шахматных про- 
грамм? 

9. Почему победа компьютера над чемпионом мира по шахматам 1998 г. 
была поставлена под сомнение? Согласны ли вы с этим? 


ГЛАВА 6 
КОМПЬЮТЕРНОЕ ТВОРЧЕСТВО 


6.1. ФИЛОСОФСКИЕ АСПЕКТЫ ТВОРЧЕСТВА 


Любое произведение искусства может быть закодировано в виде 
конечного числа цифр. Например, каждое слово поэмы состоит 
из букв, которые могут быть закодированы 33 цифрами. Ясно, что 
при таком соответствии одна длинная строка цифр может рас- 
сматриваться как кодированная запись поэмы. 

Аналогично обстоит дело в живописи. Полотно картины мож- 
но расчертить на мельчайшие клетки и цвет каждой клетки зако- 
дировать цифрами. Такое представление произведений живописи, 
в отличие от оригиналов, не подвержено разрушительному дей- 
ствию времени и может храниться веками. 

То же самое в музыке. Из анализа Фурье известно, что все зву- 
чание музыкального произведения, от первой ноты до последней, 
может быть представлено одной единственной кривой на экране 
осциллографа. Кривую можно с любой степенью точности коди- 
ровать цифрами. 

Таким образом, любое произведение искусства в любой обла- 
сти можно представить в виде набора конечного числа цифр. Число 
возможных комбинаций этих цифр огромно, но не бесконечно. 
Поэтому можно вообразить себе библиотеку, содержащую все 
возможные комбинации цифр. Подавляющее большинство ком- 
бинаций цифр в переводе на буквы, цвета и звуки не имеют 
никакого смысла. Но среди этих комбинаций есть и такие, кото- 
рые имеют смысл и являются тем, что мы называем произведе- 
ниями искусства. Существуют ли алгоритмы, которые позволят 
компьютеру выбрать из множества бессмысленных вариаций те, 
которые являются гениальными поэмами, картинами, симфо- 
ниями? 

Первые попытки создания таких алгоритмов относятся к ХУП в. 
Известен, например, пятисотстраничный трактат немецкого иезу- 
ита Афанасиуса Кирхера «Универсальная музургия, или великое 
искусство созвучий и диссонансов». А. Кирхер был учеником Лул- 
лия и рассматривал музыкальную композицию как комбинатор- 
ную задачу. Его идеи были реализованы в виде устройства, напо- 
минающего механическую экспертную систему Луллия (см. под- 
разд. 1.1). Ныне это устройство хранится в Кембриджском музее. 


126 


В начале ХУШ в. вопросами механического сочинения музы- 
кальных произведений с помощью таблиц и игральных костей 
занимались многие известные композиторы, такие как Бах, Гайдн, 
Моцарт. 

Рассмотрим вопрос создания произведений искусств с исполь- 
зованием известных нам современных методов искусственного 
интеллекта. 

Мы уже сталкивались с методами математического моделиро- 
вания в различных естественных науках, таких как физика, ме- 
теорология, экономика, механика сплошных сред, электроника 
и пр. Роль математического моделирования в жизни современной 
цивилизации переоценить трудно, причем круг проблем, решае- 
мых этим методом, постоянно растет. 

Напомним, что модель — это «черный ящик», в который вво- 
дятся входные и выводятся выходные параметры. Модель является 
намеренно упрощенной схемой некоторого реального объекта, 
системы, процесса. Но на основе исследования модели получают 
рекомендации для решения реальных проблем. 

Математическая модель может существовать в виде логических 
программ, переводимых на язык ЭВМ. Математическую модель, 
введенную в компьютер, называют компьютерной моделью. 

Существуют общие принципы построения моделей. Вот неко- 
торые из них. 

Для построения модели необходимо: Р 

а) выявить релевантные (существенные) факторы, т.е. факто- 
ры, которые могут сказываться на результатах решения данной 
проблемы или на исходе рассматриваемого процесса; 

б) выбрать факторы, которые могут быть описаны количествен- 
но; 

в) объединить факторы по общим признакам и сократить их 
перечень, выявить инварианты (о них речь пойдет дальше); 

г) установить количественные соотношения между выбранны- 
ми факторами и инвариантами. 

Факторы, которые по своей природе не могут быть выражены 
количественно, так же, как и несущественные факторы, исклю- 
чаются из рассмотрения. 

При математическом моделировании очень важным этапом 
является установление инвариантов системы. Поэтому рассмот- 
рим этот вопрос подробнее. 

Идея инвариантности состоит в том, что, хотя система в це- 
лом претерпевает последовательные изменения, некоторые ее свой- 
ства сохраняются неизменными. Существование инварианта в 
любом множестве неизбежно влечет за собой ограничение разно- 
образия. 

По Эшби, слово «разнообразие» в применении к множеству раз- 
личающихся элементов употребляется в двух смыслах — как число 
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различных элементов и как логарифм этого числа по основанию 2. 
Так, множество а, 6, 6, а, 6, 6, 6, а содержит восемь элементов, 
имеет разнообразие в два элемента в первом смысле и в 10222 = 1 
бит во втором смысле. Разнообразие 52 игральных карт равно 
102252 = 5,7 бит. 

Существование инварианта во множестве явлений говорит об 
ограничении разнообразия. Поэтому теория инвариантов — это 
теория ограничения разнообразия. 

Поскольку любой закон природы подразумевает существова- 
ние некоторого инварианта, то, следовательно, всякий закон при- 
роды есть ограничение разнообразия, а так как цель науки есть 
поиск законов, то наука занимается поиском ограничений разно- 
образия. 

В математике инвариантом называют функцию от преобразуе- 
мой величины, не изменяющую своего значения при преобразо- 
вании этой величины. Так, расстояние между двумя точками 


5 = (х - х)? + (у - у) + (2 - 25)? 
является инвариантным относительно переноса начала координат 
и поворота осей на любой угол. 

В гидродинамике инвариантами являются критерии подобия — 
числа Грассгофа, Прандтля, Релея и т.д. 

В лингвистике выделяют инварианты стихотворных форм. На- 
пример, старинная итальянская форма стиха — сонет — всегда 
имеет 14 строк. Первая часть его состоит из двух катренов (четве- 
ростиший), вторая — из двух терцетов (трехстиший). Стихотвор- 
ный размер сонета — пятистопный (реже шестистопный) ямб. 
Форма рифмовки для катренов — две разнозвучные рифмы, а для 
терцетов — две рифмы, отличающиеся от рифм катренов. Третья 
строка первого терцета рифмуется со второй строкой второго тер- 
цета и т.д. В любом сонете легко обнаружить сохранение указан- 
ных инвариантов. 

Аналогичным образом инварианты могут быть обнаружены и в 
других произведениях искусства. Так, в мажорных музыкальных 
произведениях, характерных для старинных русских мелодий, 
помимо основного мажорного аккорда всегда присутствуют еще 
два. Например, в до-мажоре — это обязательно фа-мажор и соль- 
мажор. А в минорном произведении, характерном для поп-музы- 
ки, например в ре-миноре, всегда присутствуют соль-минор и 
ля-мажор, а также фа-мажор и до-мажор. 

Возможность создания тех или иных произведений искусства 
может быть определена в первом приближении как сознательная 
или бессознательная способность находить нужные инварианты и 
комбинировать их для получения желаемого эффекта. Эта способ- 
ность проявляется художником-творцом в результате обобщения 
закономерностей всего предшествующего художественного наследия. 
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Таким образом, мы видим, что искусство, в конечном итоге, 
преследует ту же цель, что и наука — выявление инвариантов, ус- 
тановление связи между ними, ограничение разнообразия. 

О возможности моделирования творческой деятельности чело- 
века непрерывно идут дискуссии, существуют различные точки 
зрения, как положительные, так и отрицательные. Попытаемся 
рассмотреть этот вопрос с математической точки зрения. Что есть 
творчество с точки зрения математика? 

Воспользуемся известной теоремой Геделя. Смысл ее состоит в 
том, что всякая достаточно мощная формальная непротиворечи- 
вая логико-математическая система обязательно содержит фор- 
мулу, которую в данной системе нельзя ни доказать, ни опровер- 
гнуть. 

Иначе говоря, если имеем систему аксиом 4, А), ..., А», ТО В 
этой системе можно сформулировать предложение Ву, которое 
невозможно ни доказать, ни опровергнуть при помощи данной 
системы аксиом. Однако может оказаться, что при добавлении к 
имеющейся системе аксиом некоторой аксиомы А)„.; станет воз- 
можным доказать или опровергнуть предложение Ву. Но и в этом 
случае обязательно найдется еще хотя бы одно предложение В}, 
которое невозможно ни доказать, ни опровергнуть при помощи 
уже расширенной системы аксиом. Систему нужно снова расши- 
рять и т.д. Так, геометрия Лобачевского содержит в себе геомет- 
рию Евклида, а из теории относительности Эйнштейна, как част- 
ный случай, следует ньютоновская механика. 

Творчество — это процесс расширения системы, в результате 
чего невыводимые утверждения становятся выводимыми. Иначе 
говоря, если некоторая задача не может быть рёшена в данной 
логической системе, то необходимо искать другую систему, логи- 
чески более мощную. Тогда творчество заключается в расширении 
системы, увеличении ее логической мощи, ее логического «бо- 
гатства», что дает возможность решения новых задач, не решае- 
мых в старой системе. 

Итак, можно дать два определения творчества. 

1. Это поиск инвариантов и соотношений между ними. 

2. Это расширение логической системы с целью решения но- 
вых задач. 

Так с математической точки зрения можно представить про- 
цесс творчества. 

Не меньшее методологическое значение для понимания и моде- 
лирования процёсса творчества имеют теоремы Мак-Каллока и 
Питтса — основателей направления, называемого нейрокиберне- 
тикой. Этими авторами введено понятие математического нейро- 
на. Если нейрон является основной рабочей клеткой коры боль- 
ших полушарий мозга человека, то математический нейрон есть 
абстрактный логический элемент, в котором формально отраже- 
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ны лишь те свойства живого нейрона, которые связаны с перера- 
боткой информации. Принцип действия математического нейро- 
на и его возможности для решения практических задач изложены 
в гл. 3. К теме этой главы имеют отношение теоремы Мак-Каллока — 
Питтса, смысл которых сводится к тому, что любое функциони- 
рование живой нервной ткани, которое можно описать с помо- 
щью конечного числа слов в терминах логического исчисления 
высказываний, может быть описано при помощи искусственной 
нейронной сети. Таким образом, существует принципиальная воз- 
можность создания сети из математических нейронов, способной 
к творческой деятельности. 

Теоремы Мак-Каллока — Питтса представляют собой теоремы 
существования. Они не говорят о том, как нужно создавать сеть из 
математических нейронов, чтобы воспроизвести творческую дея- 
тельность человека, а только утверждают, что такую сеть принци- 
пиально можно построить. В этом состоит методологическое зна- 
чение теорем Мак-Каллока — Питтса. 

Практических же успехов в области моделирования творческой 
деятельности удалось добиться, следуя другим альтернативным 
направлением искусственного интеллекта, называемым киберне- 
тикой «черного ящика». 


6.2. Моделирование в музыке 


Человеческий мозг — это своего рода банк данных и знаний, в 
котором хранится огромная информация, собранная за всю прожи- 
тую человеком жизнь. Доказано, что человеческий мозг никогда и 
ничего не забывает. Каждый прожитый им день до мельчайших 
подробностей, как на видеопленку, записывается в память. И эта 
информация может быть определенным образом извлечена. Кроме 
того, имеются попытки доказать, что может быть извлечена ин- 
формация, переданная человеку от предыдущих поколений и из 
прожитых им ранее жизней. 

В памяти композитора существует множество различных мело- 
дий, накопленных им в течение жизни, может быть, переданных 
с генами от далеких предков. И естественно полагать, что фраг- 
менты этих мелодий, отдельные музыкальные фразы, музыкаль- 
ные инварианты осознанно или неосознанно используются ком- 
позитором в его творческом процессе. 

Поэтому первое, что нужно сделать при создании модели му- 
зыкального творчества (рис. 6.1), это занести в память компьюте- 
ра как можно больше музыкальных произведений (создать базу 
данных). Далее, как и в любой интеллектуальной системе, нужно 
создать базу знаний, состояшую из законов музыкальной гармо- 
нии — соотношений между музыкальными инвариантами (соль- 
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Еее ЗЕ ЕЕ ВЕЕР 


База данных (художественное наследие) 


Файл формируемых 
мелодий 


База данных 
(законы сольфеджио) 


Рис. 6.1. Примерная схема музыкального творчества 


феджио). Например, если вы собираетесь написать музыкальное 
произведение в ре-миноре, то вам необходимо внести основные 
для этой тональности аккорды — соль-минор, до-мажор, фа-ма- 
жор, ля-мажор, и задать приемлемые варианты перебора после- 
довательности этих аккордов. 

На вход компьютера надо подать начальнее приближение (твор- 
ческое вдохновение) — музыкальную фразу, состоящую, напри- 
мер, из четырех нот, и заставить компьютер отыскать такое же 
сочетание нот в одном из хранящихся в его памяти музыкальных 
произведений. Далее следует прочитать следующую за найденной 
фразой ноту, приписать ее к текущей музыкальной фразе, а пер- 
вую ноту из этой фразы выдать в файл формируемых мелодий и 
вычеркнуть из текущей фразы так, чтобы в ней по-прежнему ос- 
тавалось четыре ноты. Процесс поиска надо продолжить, анали- 
зируя следующие за найденной в памяти компьютера мелодии. 

В результате в файле формируемых мелодий сформируется пос- 
ледовательность нот новой мелодии, которая по своему звучанию 
будет напоминать заложенные в память компьютера известные 
мелодии, но отличаться от них. Например, если в память закла- 
дывались вальсы, то на выходе будет вальс, если марши, то на 
выходе — марш ит. п. 

Алгоритм выбора продолжений мелодий из базы данных мож- 
но снабдить эвристическими правилами, регулируя их силу с по- 
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мощью все тех же коэффициентов доверия. Естественно, что для 
разных музыкальных стилей будут и разные коэффициенты дове- 
рия. Эти коэффициенты можно изменять в процессе обучения, 
добиваться улучшения качества сочиняемых мелодий. 

Изложенная методика компьютерного синтезирования музыки 
в упрощенной форме отражает процесс творчества композитора и 
не претендует на полную модель его деятельности. В ней есть база 
данных, содержащая художественное наследие, база знаний, со- 
стоящая из законов музыкальной гармонии (сольфеджио), а так- 
же элемент вдохновения в виде начального приближения, кото- 
рое можно задавать генератором случайных чисел. Есть также воз- 
можность совершенствования таланта компьютерного компози- 
тора за счет его обучения, например путем модификации коэф- 
фициентов доверия используемых правил формирования продол- 
жений мелодии. 

Более сложные методики, отражающие также другие стороны 
музыкального творчества, были предложены в 1955 г. исследовате- 
лями Иллинойского университета Хиллером и Исааксом. Они про- 
вели серию экспериментов, в которых последовательно заклады- 
вались законы сольфеджио в базу знаний (гармонизация) и вво- 
дились разнообразные музыкальные ритмы и темпы. Был также 
использован датчик случайных чисел. 

На рис. 6.2 изображена блок-схема программы, реализованной 
на машине «Иллиак». На входе программы генератором случай- 
ных чисел задавались целые числа, при помощи которых закоди- 
рованы нотные знаки. Каждое из чисел пропускалось через после- 
довательность из четырех контрольных схем (1[—/1). Эти схемы 
пропускали в запоминающее устройство только те числа, кото- 
рые образовывали правильную (подчиняющуюся заложенным в 
контрольной схеме ограничениям) мелодическую линию. Закон- 
ченный период запоминался, а затем выдавался на печать и рас- 
шифровывался в виде нот. Если же хотя бы одна из схем задержи- 
вала хотя бы одну ноту, то управление вновь передавалось генера- 
тору случайных чисел и поиски правильной ноты продолжались. 
После 50 неудачных попыток подобрать нужную ноту мелодиче- 
ская линия разрушалась и начинала выстраиваться новая линия. 


Перевод 


в нотную 
запись 


Генератор 


= 


Рис. 6.2. Блок-схема программы компьютерного сочинения музыки 
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За 1 ч работы машина «Иллиак» создавала 100 мелодий. Так была 
написана знаменитая «Иллиак-сюита» для струнного оркестра. 

Широкую известность в свое время получили музыкальные 
произведения, сочиненные ЭВМ «Урал-2» по алгоритмам, разра- 
ботанным советским математиком Р.Х. Зариповым. В его програм- 
мах также использовался генератор случайных чисел, который 
выдавал не только код ноты, но и длительность и интервал между 
нотами. Эти данные проходили контроль на соответствие законо- 
мерностям базы знаний — законам музыкальной гармонии, полу- 
ченным при анализе широкого круга музыкальных произведений. 

Программы Р.Х.Зарипова моделировали сочинение мелодий в 
мажоре или миноре, аккомпанемента к ним, сочинение мелодий 
на заданный стихотворный текст и ритм. 

Принципы, разработанные первыми музыковедами-программи- 
стами, в настоящее время закладываются в схемы современных 
оркестровых электромузыкальных инструментов и широко исполь- 
зуются композиторами и музыкантами. Однако этот инструмента- 
рий является вспомогательным, так как его применение ограниче- 
но сочинением гармонии, аранжировок, сопровождений. Сами же 
темы сочиняет по-прежнему человек. Дело в том, что создать хоро- 
шую простую мелодию неизмеримо сложнее, чем оркестровое про- 
изведение в авангардистской манере, перегруженнос случайными 
звукосочетаниями и диссонансами. Когда композитор сочиняет 
мелодию, которая становится популярной, происходит колоссаль- 
ный прорыв вперед, так как это открытие нового, не известного 
ранее соотношения между музыкальными инвариантами. 

Современные компьютерные программы могут сочинять но- 
вые мелодии, которые приятно звучат и чем-то напоминают ра- 
нее известные, имеют хороший стиль и манеру, но в них всегда 
чего-то не хватает, чтобы стать действительно популярными. 
«Үеѕіегаау» и «Лунная соната» сочинены не компьютером. 

Однако очень вероятно, что компьютер превзойдет человека и 
в этой области, и, как это ни обидно сознавать, в совсем недале- 
ком будущем молодежь будет петь и танцевать под компьютерную 
музыку, а великие произведения, сочиненные классиками, будут 
считаться экзотикой. 


6.3. Моделирование в поэзии 


Считается, что задача моделирования стихотворчества несоиз- 
меримо сложнее, чем задача моделирования сочинения музыкаль- 
ных произведений. Как показали исследования русского языка, 
одна буква делового языка несет 0,6 бит информации, буква обык- 
новенной разговорной речи — 1 бит, а буква поэтической речи — 
1,5 бит. 
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Не вдаваясь в философские и этические проблемы, подойдем 
к проблеме моделирования поэтического творчества с помощью 
известных инструментальных средств. Например, можно восполь- 
зоваться известным формализмом Бекуса — Наура. Этот формализм 
главным образом применяется в системах распознавания и обра- 
ботки текстовой информации, машинного перевода, а также ес- 
тественно-языкового общения. В формализме применяются следу- 
ющие символы-операторы: 

:: = — «определяется как» или «может быть переписан как»; 

| (вертикальная черта) — используется для разделения различ- 
ных альтернативных возможностей; 

<> (угловые скобки) — используются для заключения нетер- 
минальных символов, т.е. символов, которые должны определяться 
одним из правил. В отличие от них символы, не заключенные в 
угловые скобки, считаются терминальными и представляют лишь 
самих себя. 

Например, цифра в формализме Бекуса — Наура определяется 
следующим образом: 


<цифра>:: =0|1112|3|4|5[6|7|8]9, 


где <цифра> — нетерминальный символ, а каждая из цифр 0, 1, ..., 9 — 
терминальный символ. 

Приведем некоторое множество правил упрощенного описа- 
ния синтаксической структуры английского предложения. 

1. <предложение>:: = <существ. фрагмент> <глагольн. РРагиешт 
<существ. фрагмент> 

2. <существ. фрагмент>:: = <артикль> <определяемое существ.> 

3. <определяемое существ.>:: = < существ.> | <определение> 

<определяемое существ.> 

4. <глагольн. фрагмент>:: = <глагол> | <глагольн. фрагмент> 

<фрагмент наречия> 

5. «фрагмент наречия>:: = < наречие> | <предлог><существ. фраг- 
мент> 

К этим правилам добавим небольшой словарь. 

6. <артикль>:: = а | ће 

7. <существ.>:: = сай | тоцзе | 408 | ох (кошка, мышь, собака, 
лиса) 

8. <определение>:: = ашск |Лату | огомп | Маск (быстрый, ленивый, 
коричневый, черный) 

9. <глагол>:: = 206$ | јитрѕ | гипѕ (идет, прыгает, бежит) 

10. <наречие>:: = аџісКіу | еазЦу (быстро, легко) 

11. <иредлог>:: = оуег | ипдег | һћгоџећ (над, под, через) 

Приведенное множество синтаксических правил обычно исполь- 
зуется для синтаксического анализа текстовой информации. Одна- 
ко этот же фрагмент можно использовать вместе с генератором 
случайных чисел для создания случайных предложений, подчиня- 
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ющихся указанным синтаксическим правилам, т.е. можно запустить 
процедуру синтаксического анализа как бы в обратную сторону. 

Чтобы построить какое-нибудь предложение, процесс генера- 
ции нужно запустить с правила 1. Здесь имеются две возможнос- 
ти, и для выбора какой-то одной из них следует обратиться к 
генератору псевдослучайных чисел. Затем процесс генерации раз- 
вивается в соответствии с выбранной альтернативой, т.е. если 
выбрана первая из возможностей, то управление сначала должно 
перейти к правилу 2 для создания «существ. фрагмента», а после 
того, как это сделано, — к правилу 4 для создания «глагольн. 
фрагмента». Поскольку правила 2 и 4, в свою очередь, передают 
управление другим правилам, то необходимо иметь стек, или ма- 
газинную память, для напоминания о неоконченных моментах в 
различных правилах. Когда осуществляется первая передача уп- 
равления от правила 1 к правилу 2, в стек помещается первый 
элемент и указатель — на следующий по порядку элемент (в соот- 
ветствии с выбранной альтернативой). 

Если в процессе генерации встречается терминальный символ, 
то он добавляется к выходной строке, которая создается. 

Приведенный способ генерации предложений позволяет полу- 
чить такие фразы, как: «Тһе ашск Бго\уп Юх јитрѕ оуег Ше 1ату 
402» — проворная коричневая лиса перепрыгнула через ленивую 
собаку. 

Всего в словаре приведенного множества содержится 18 слов, 
выступающих в качестве терминальных символов: два артикля, 
четыре существительных, четыре прилагательных и т.д. Однако 
приведенный метод применим и к большим словарям, содержа- 
щим яркие, выразительные слова. Таким образом, можно заста- 
вить компьютер сочинять стихи, в которых, однако, не будет со- 
блюдаться рифма. Для выдерживания рифмы необходимо введе- 
ние дополнительных правил, рифмующих фразы. 

Для того чтобы сочиненные компьютером произведения име- 
ли смысл, необходимо ввести базу соответствующих знаний. Каж- 
дое вводимое в словарь слово должно быть увязано с другими не 
только синтаксическими, но и семантическими связями. Различ- 
ные сочетания слов должны быть оценены некоторыми оценива- 
ющими параметрами, задающими уровень смыслового соответ- 
ствия. Такие параметры должны использоваться при построении 
фраз, подобно тому как в экспертных системах при получении 
заключений используются коэффициенты доверия. Этими коэф- 
фициентами можно регулировать уровень осмысленности и сте- 
пень абстрагизма создаваемого произведения, определять его ха- 
рактер, жанр и смысловую направленность. 

Как и в других интеллектуальных системах, коэффициенты 
доверия могут меняться в процессе работы программы, т.е. алго- 
ритмы стихотворчества могут быть обучаемыми. 
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Таким образом, существующий уровень развития инструмен- 
тальных средств и методов искусственного интеллекта позволяет 
создать более-менее приемлемые алгоритмы поэтического твор- 
чества, что свидетельствует о том, что и этот вид человеческой 
деятельности в принципе поддается компьютерному моделирова- 
НИЮ. 


Контрольные вопросы 


1. Перечислите общие принципы построения математических моде- 
лей. 

2. Дайте определение инварианта и приведите примеры инвариантов, 
известных вам из математики, физики, искусства. 

3. Сформулируйте теорему Геделя и поясните, какое отношение она 
имеет к творчеству? 

4. Что такое творчество с точки зрения теории инвариантов? 

5. Сформулируйте теорему Мак-Каллока— Питтса и поясните, какое 
отношение она имеет к творчеству. 

6. Если бы вам предстояло писать программу компьютерного сочине- 
ния музыки, какую бы блок-схему вы предложили? 

7. Поясните, каким образом можно использовать для сочинения сти- 
хов формализм Бекуса— Наура? Каким образом можно, пользуясь этим 
алгоритмом, придавать сочиненным произведениям смысл, изменять 
степень абстрагизма, определять его характер, жанр? 


ГЛАВА 7 


ИНТЕЛЛЕКТУАЛЬНОЕ МАТЕМАТИЧЕСКОЕ 
МОДЕЛИРОВАНИЕ 


7.1. СОВРЕМЕННЫЙ КРИЗИС ПРИКЛАДНОЙ МАТЕМАТИКИ 


Производя математические вычисления, мы пользуемся теми 
или иными формулами, которые, по существу, являются абст- 
рактными моделями реальной действительности. Поэтому под тер- 
мином «математическое моделирование» понимают все, что свя- 
зано с практическим применением математики. 

Развитие современной цивилизации свидетельствует о посто- 
янном повышении роли математического компьютерного моде- 
лирования как в научных исследованиях, так и в различных обла- 
стях практической деятельности человека. Одним из наиболее по- 
пулярных инструментов математического компьютерного моде- 
лирования является формулировка и решение краевых задач ма- 
тематической физики. Именно таким способом ведутся многие 
фундаментальные исследования различных разделов физики, аст- 
рономии, экологии и других наук о человеке, природе и обще- 
стве, выполняются долгосрочные прогнозы погоды, предсказы- 
ваются землетрясения, цунами и прочие стихийные бедствия, а 
также рассчитываются и проектируются самолеты, автомобили, 
ракеты, подводные лодки, здания и сооружения, различные про- 
мышленные и военные объекты. 

В истории развития методов решения краевых задач математи- 
ческой физики можно проследить три периода. Первый истори- 
ческий период, продлившийся примерно до середины ХХ в., на- 
чался с основополагающих работ Ж.Л.Д’Аламбера и Ж. Фурье, 
выполненных в ХУШ — начале ХІХ вв. Путем разделения пере- 
менных удалось получить ряд решений дифференциальных урав- 
нений в частных производных для простейших областей, называ- 
емых каноническими, — круга, квадрата, цилиндра, шара и пр. 
Затем на протяжении полутора веков усилия математиков своди- 
лись к развитию метода разделения переменных и изобретению 
иных приемов, позволяющих получить решение той или иной 
краевой задачи для других дифференциальных уравнений, других 
областей с другими краевыми условиями. Каждое такое решение 
было событием в математическом мире и отмечалось присужде- 
нием премий и присвоением регалий. Метод математического 
моделирования был доступен узкому кругу математиков-професси- 
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оналов, деятельность которых представляла собой творческий про- 
цесс сродни деятельности поэтов, художников, композиторов. 

Появление в середине ХХ в. быстродействующих электронно- 
вычислительных машин в корне изменило ситуацию. Оказалось, 
что если разбить область решения краевой задачи на множество 
мелких подобластей и для каждой подобласти ввести гипотезы, 
упрощающие физические свойства среды, то процесс интегриро- 
вания дифференциальных уравнений можно свести к множеству 
элементарных арифметических действий. Таким образом, краевые 
задачи математической физики стало возможным решать с помо- 
щью ЭВМ «с позиции грубой силы», получая решение не в виде 
аналитических формул, а в виде массивов чисел. Так появилась на 
свет новая область математики, называемая дискретной. На смену 
классическим аналитическим методам пришли численные алго- 
ритмы, с помощью которых удалось создать универсальные паке- 
ты прикладных программ, оснащенных удобными сервисными 
средствами. Математическое компьютерное моделирование стало 
общедоступным и из творчества превратилось в ремесло. Матема- 
тики-аналитики с их хитроумными математическими выкладка- 
ми, казалось, навсегда утратили свой авторитет и отошли в про- 
шлое. 

Однако, как утверждают философы, жизнь развивается по спи- 
рали. Маятник, качнувшийся в одну сторону, должен обязательно 
отклониться и в другую. Увлечение численными методами в пол- 
ной мере выявило не только их бесспорные преимущества, но и 
неустранимые недостатки. К последним относится невозможность 
надежной оценки погрешности расчетных результатов. Этот недо- 
статок особенно ощутим в последнее время в связи с применени- 
ем метода математического моделирования для расчета ответствен- 
ных объектов и процессов, от которых зависит безопасность лю- 
дей, государств, цивилизации. 

Следует заметить, что математический аппарат, которым 
пользовались математики минувших веков, был более надежен. 
Решения, полученные аналитическими методами в виде аналити- 
ческих формул, могут быть проверены на удовлетворение диффе- 
ренциальным уравнениям и краевым условиям решаемой задачи, 
т.е. их погрешность может быть оценена. Решения же, получаемые 
численными методами, представляют собой массивы чисел, о 
погрешности которых судят по тому, как эти числа изменяются с 
увеличением числа разбиений заданной области. Обычно счита- 
ют, что результатам можно доверять, если они перестают изме- 
няться с измельчением сетки. Однако уже давно показана теоре- 
тическая несостоятельность этого подхода. Дело в том, что с из- 
мельчением конечноэлементной сетки ухудшается обусловленность 
матрицы разрешающих алгебраических уравнений. Так, в случае 
решения двумерной краевой задачи для дифференциальных урав- 
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нений второго порядка и применения равномерной сетки с ли- 
нейными функциями формы имеет место зависимость 


а = Си, (7.1) 
где а — спектральное число обусловленности матрицы системы 
алгебраических уравнений; С — константа, зависящая от задачи; 
й — максимальный размер элемента. 

Согласно этой формуле при уменьшении й увеличивается а, 
т.е. коэффициенты матрицы системы алгебраических уравнений 
хуже обусловливают ее решение: малые изменения коэффициен- 
тов матрицы начинают приводить к большим изменениям реше- 
ния системы. Это значит, что погрешности, связанные, напри- 
мер, с округлением коэффициентов матрицы или вносимые в эти 
коэффициенты в процессе их формирования, все сильнее и силь- 
нее влияют на результат решения системы. А это, в свою очередь, 
означает, что при й -> 0 приближенные конечноэлементные ре- 
шения сходятся вовсе не к искомому точному решению краевой 
задачи, как схематично показано на рис. 7.1. 

Из приведенного анализа со всей очевидностью следует, что к 
результатам, полученным численными методами, следует отно- 
ситься крайне осторожно, особенно, если речь идет о расчетах 
объектов и процессов ответственного назначения. Тем не менее, 
на современном рынке программных средств имеется множество 
компьютерных программ, реализу- 
ющих численные методы решения 
краевых задач теплопроводности, 
гидродинамики, теории упругости, 
теории электрических, магнитных, 
гравитационных и даже торсионных 
полей. Эти пакеты (АМЗУ5, 
КОЅМОЅ, \УПУМАЗН[М\У и др.) 
снабжены удобными сервисными и 
графическими средствами, так что 
любой пользователь, далекий от 
математики, может без особого тру- 
да получить приемлемое с точки 
зрения здравого смысла прибли- 
женное решение практически лю- 
бой краевой задачи. Однако оце- ИА 
нить, на сколько полученное им 
решение отличается от настоящего рус 7.1. Характерная зависи- 
точного решения краевой задачи, мость численного решения 
представляет большую проблему. краевой задачи от максималь- 
Понимая это, авторы численных ного размера конечноэлемен- 
пакетов в программной документа- тарной сетки й: 
ции обычно указывают на то, что (, — точное решение задачи 
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разработчики программ не несут ответственности за последствия 
выполненных расчетов. 

По прогнозам специалистов, ХХІ в. — это век жестоких техно- 
генных катастроф, стихийных и экологических бедствий. Малей- 
шие ошибки в математических моделях и, в частности, в методах 
решения краевых задач, могут привести к тяжелым экологиче- 
ским, экономическим и социальным последствиям. Все чаще при- 
ходится слышать сообщения о падении ракет, самолетов, взрывах 
на ядерных станциях и промышленных объектах, обрушениях 
жилых зданий и развлекательных комплексов. В связи с этим, как 
никогда прежде, стали актуальными вопросы точности математи- 
ческого моделирования. Пришло время применять только такие 
модели и методы, которые могут гарантировать необходимую на- 
дежность расчетных результатов. 

Надежность результатов математического моделирования обес- 
печивают точные аналитические методы, которые разрабатывали 
математики прошлых веков. На современном рынке программной 
продукции программных пакетов, реализующих такие методы, прак- 
тически нет. Их нет потому, что аналитические методы не универ- 
сальны и крайне плохо поддаются алгоритмизации. Они требуют 
творческого интеллектуального подхода практически к каждой но- 
вой краевой задаче. Их применение связано с длительной и кро- 
потливой работой высокообразованных математиков, использую- 
щих весь свой опыт, интуицию, талант. Традиции же школы мате- 
матиков-аналитиков, создававшейся на протяжении нескольких 
последних. веков, к сожалению, в значительной степени утеряны. 

Выход из кризисной ситуации связывают с новым (третьим) 
периодом развития методов решения краевых задач, наметившимся 
в связи с очередной революцией в компьютерной индустрии — 
интеллектуализацией компьютеров, развитием и внедрением идей 
и методов искусственного интеллекта. Компьютерная имитация 
творческой деятельности человека (эксперта), его интуиции и 
опыта позволила создать и успешно применять компьютерные 
программы в различных сферах человеческой деятельности, ранее 
считавшихся недоступными для формализации и алгоритмизации, 
таких как медицина, политология, социология, финансы, биз- 
нес и т.д. Не является исключением применение идей и методов 
искусственного интеллекта и при решении краевых задач матема- 
тической физики. 

Попытки имитации творческой деятельности математика-ана- 
литика показали перспективность нового подхода, принципиаль- 
ную возможность реанимации старых аналитических методов и 
создания на этой основе универсальных программных комплек- 
сов, способных получать надежные аналитические решения крае- 
вых задач, пригодные для моделирования объектов и процессов 
ответственного назначения. 
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На сайте ВИр://м\\.рзри.ги/ге?10п$ размещен доступный для 
общего пользования программный пакет КЕСІОМЅ, который, по 
существу, является экспертной системой, имитирующей творче- 
скую деятельность математика-профессионала (эксперта), выпол- 
няющего решение краевой задачи. В основу пакета положен мало- 
известный аналитический метод — метод фиктивных кано- 
нических областей (ФКО) [49—52]. Этот метод, предложенный 
автором книги в начале 70-х годов, хотя и позволил найти точные 
аналитические решения ряда практически важных задач, не на- 
шел широкого применения ввиду отсутствия универсальности (что, 
кстати, свойственно всем аналитическим методам). Дело в том, 
что успех решения краевой задачи методом ФКО в значительной 
степени зависит от опыта и интуиции применяющего его матема- 
тика. Теперь же появилась возможность заложить в компьютер 
интеллект математика-профессионала в виде набора эвристиче- 
ских правил. Эти правила в большинстве случаев не имеют строгих 
математических доказательств и поэтому обладают различными 
коэффициентами доверия. Мы имеем дело с нечеткой математи- 
кой, характерной для систем искусственного интеллекта. Резуль- 
тат же применения нового подхода — точное аналитическое ре- 
шение краевой задачи, не нуждающееся в оценке погрешности и 
не вызывающее сомнений в своей надежности. Такой подход к 
решению краевых задач назван интеллектуальным компьютерным 
математическим моделированием. 


7.2. МЕТОД ФИКТИВНЫХ КАНОНИЧЕСКИХ ОБЛАСТЕЙ 


7.2.1. Идея и теоретические основы 


В 1926 г. Е. Треффтцем был предложен аналитический метод 
решения краевых задач, суть которого заключается в следующем. 
Пусть требуется решить уравнение Лапласа 


АО(р) = 0 (7.2) 
в некоторой области 0, на границе 5 которой задано условие 
О(р)|„ =" ($). (7.3) 


Согласно методу Треффтца решение краевой задачи ищется в 
виде разложения 


М 
(р) = У, с.О,(р), рє, (7.4) 


п=1 
в котором 0, (р) — базисные функции координат, выбираемые 
так, что каждая из них удовлетворяет заданному дифференциаль- 
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ному уравнению (7.2), а с, — постоянные коэффициенты, опре- 
деляемые из условия минимума функционала 


ЛО) = | (втаа(р)?ар, (7.5) 
р 


соответствующего краевому условию (7.3). 

Таким образом, сумма (7.4) тождественно удовлетворяет заданно- 
му дифференциальному уравнению и приближенно — краевому усло- 
вию. Это свойство решений, получаемых методом Треффтца, открыва- 
ет уникальную возможность надежной оценки точности результа- 
тов. В самом деле, после того, как краевая задача решена и постоян- 
ные с, определены, мы имеем возможность подставить их в сумму 
(7.4) и подсчитать ее значение на границе 5 заданной области Ш. 
Таким образом, вместо условия (7.3) мы имеем другое условие: 


Ор), = 0*(5), (7.6) 
в котором граничное значение найденного решения 76 (5) отличается 
0"(5)-0"(5)|, 


причем максимальное значение этой разности в каждом конкрет- 
ном случае может быть легко подсчитано. 

Итак, вместо решения заданной краевой задачи (7.2), (7.3) 
метод Треффтца позволяет получить точное аналитическое реше- 
ние краевой задачи (7.2), (7.6), граничное значение искомой фун- 
кции которой отличается на величину 5(.5). 

В практике компьютерного моделирования некоторая коррек- 
тировка граничных условий краевых задач, как правило, допуска- 
ется. Дело в том, что граничные условия обычно формулируются 
с привлечением различных физических гипотез и допущений либо 
являются результатом измерений физических приборов, которые 
всегда имеют некоторую погрешность є, и если 


тах 5(5) < 5, (7.7) 


от заданного (“"(5) на некоторую величину 5(.5) = 


то исходную краевую задачу (7.2), (7.3) можно заменить на задачу 
(7.2), (7.6). Но эту задачу, как мы только что видели, методом 
Треффтца удается решить точно. Таким образом, вопрос об оцен- 
ке погрешности решения краевой задачи, полученного методом 
Треффтца, снимается в принципе. | 

Это замечательное свойство метода Треффтца ставит его в осо- 
бое положение по отношению к другим приближенным подхо- 
дам, является его серьезнейшим преимуществом, особенно важ- 
ным в современных условиях, когда на первое место выходят ка- 
чество и надежность результатов. 

Подход, предложенный Е. Треффтцем, в свое время вызвал 
серию научных работ, посвященных вопросам его развития и при- 
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менения. Среди них следует отметить фундаментальные работы 
Э.Рейснера, Л.С.Лейбензона, С.Г. Михлина, М. Ш. Бирмана, 
Г. А. Гринберга, Л.Коллатца. Однако, несмотря на уникальные 
свойства и внимание математиков, метод Треффтца долгое время 
оставался не пригодным для широкого практического примене- 
ния. Дело в том, что нерешенной была проблема выбора базисных 
функций 0. (р), удовлетворяющих решаемым дифференциальным 
уравнениям и обеспечивающих сходимость метода. Только в ред- 
ких случаях путем увеличения числа функций № удавалось умень- 
шить до приемлемых значений погрешность удовлетворения кра- 
евым условиям 6(5) и получить более-менее приемлемые реше- 
ния краевых задач. Таким образом, успех применения метода це- 
ликом и полностью зависел от опыта и интуиции математика, а 
порой и просто от везения. 

Разобраться в проблемах сходимости и корректности, постро- 
ить методику выбора базисных функций, обеспечивающую успех 
применения метода Треффтца, позволила предложенная в 1973 г. 
Л.Н.Ясницким [49] геометрическая интерпретация процесса ре- 
шения краевых задач, суть которой поясним на примере краевой 
задачи теории упругости. 

Пусть требуется рассчитать напряженно-деформированное со- 
стояние упругого тела О, изображенного на рис. 7.2, а. На поверх- 
ности 5 тела Р заданы граничные условия в перемещениях или (и) 
в напряжениях. Наряду с ДО в рассмотрение вводится некоторая 
фиктивная каноническая область Г, внутри которой мысленно (на 
рис. 7.2, 6 — пунктиром) выделяются контуры заданного тела. По- 
скольку область Г является канонической, то для нее методом раз- 
деления переменных Фурье можно построить решение дифферен- 
циальных уравнений теории упругости, имеющее вид ряда 


Рис. 7.2. Заданное тело Д (а) мысленно погружается в каноническую 
область У (6) или область пересечения нескольких канонических 
областей И ПГ. ПИ) (в) 
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М 
О(р) = У с,О,(р), № >, рЕГ, (7.8) 
п=1 


где с, — постоянные коэффициенты, определяемые граничными 
условиями на поверхности области Г; 0, (р) — координатные фун- 
кции, тождественно удовлетворяющие решаемым дифференциаль- 
ным уравнениям. 

Это решение является общим в том смысле, что путем подбора 
постоянных коэффициентов с, из него могут быть выделены част- 
ные решения, удовлетворяющие достаточно произвольным гра- 
ничным условиям на поверхности области Г. Если теперь на этой 
поверхности создать такое нагружение Р, что на контурах вписан- 
ного тела ОР возникнут напряжения или (и) перемещения, совпа- 
дающие с заданными на 5 граничными условиями, то решение 
для Г, соответствующее нагружению Р, будет в то же время яв- 
ляться решением исходной задачи для тела О. Последнее справед- 
ливо в силу того, что выделенное из (7.8) частное решение удов- 
летворяет внутри тела О уравнениям теории упругости, а на его 
поверхности — заданным граничным условиям. 

С математической точки зрения задача нагружения фиктивно- 
го тела Г состоит в определении коэффициентов разложения (7.8), 
обеспечивающих выполнение заданных на 5 условий. Если огра- 
ничиться конечным числом слагаемых М ряда (7.8), то эту задачу 
можно решить приближенно, удовлетворяя граничным условиям 
в М точках коллокаций, лежащих на 5, или минимизируя на этой 
поверхности функционал граничных условий. Последний может 
быть сформулирован по методу Треффтца (7.5) с использованием 
энергетических представлений либо по методу наименьших квад- 
ратов (см. подразд. 7.2.3). 

Приведенная здесь геометрическая интерпретация к математи- 
ческому аппарату Треффтца — Рейсснера — Лейбензона — Михли- 
на позволила проанализировать условия сходимости и корректно- 
сти, сформулировать и доказать соответствующие теоремы, выра- 
ботать критерий выбора фиктивных канонических областей, обес- 
печивающих успех решения задач, и дать рекомендации по прак- 
тическому выполнению этого критерия. В результате была предло- 
жена методика выбора базисных функций к известному матема- 
тическому аппарату, обеспечивающая успех применения этого 
аппарата и названная впоследствии методом фиктивных канони- 
ческих областей (ФКО) [50]. 

В настоящее время метод ФКО используется в базе знаний интел- 
лектуальной системы математического моделирования КЕСТОМ$, 
предназначенной для получения аналитических решений краевых 
задач математической физики. 

Суть критерия выбора ФКО заключается в требовании продол- 
жимости в / искомого решения как функции, удовлетворяющей 
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дифференциальным уравнениям задачи, причем под Г подразу- 
мевается минимальная содержащая Р область из семейства обла- 
стей, для которых имеет место используемое разложение (7.8). 
В качестве Г может быть выбрана как отдельная каноническая об- 
ласть (см. рис. 7.2, 6), так и область пересечения нескольких кано- 


нических областей У = И ПИ. п... п Их (рис. 7.2, в). В этом случае 


вместо (7.8) используется сумма К разложений, относящихся со- 
ответственно к И, И, ..., Их. 

Критерий выбора ФКО основан на том, что при выполнении 
условия продолжимости искомого решения в У это решение яв- 
ляется суммой по базисным функциям для Г. Тогда разложение 
(7.8) (или сумма К разложений в случае суперпозиции фиктив- 
ных областей) при ограниченном числе М№ представляет собой 
отрезок ряда и для него применимы соответствующие теоремы 
сходимости. Если же продолжимость отсутствует, то такого ряда 
не существует. Сумма же в правой части формулы (7.8) может 
рассматриваться только как линейная комбинация функций 0(,(р), 
аппроксимирующая в Р искомое решение. Но для такой аппрок- 
симации задача нахождения коэффициентов с, не является 
корректной по Адамару. В этом случае, как доказано С. Я. Гусма- 
ном [8], при увеличении № некоторые из коэффициентов с, не- 
ограниченно возрастают. Это значит, что при практических вы- 
числениях на компьютерах в принципе невозможно получить ре- 
шение задачи с погрешностью, меньшей некоторого положи- 
тельного числа ғ, зависящего от краевой задачи и памяти ком- 
пьютера. 

Следует отметить, что = может оказаться достаточно малым, и 
поэтому выполнение критерия продолжимости не является стро- 
го обязательным. Однако сам факт существования =, ограничива- 
ющего точность решения задачи снизу, является нежелательным 
и, как правило, не позволяет получать приемлемых результатов. 
Поэтому в методе ФКО-выполнению условия продолжимости 
придается первостепенное значение. 

Нарушение продолжимости может происходить из-за наличия 
особенностей, т.е. точек, в которых искомое решение обращается 
в бесконечность, имеет разрывы, изломы и т. п. В реальных крае- 
вых задачах особые точки решений, как правило, располагаются 
за пределами тела О либо на его поверхности. Таким образом, 
задача выбора ФКО сводится к тому, чтобы: 

предсказать возможные места расположения особых точек; 

подобрать и расположить ФКО так, чтобы особые точки иско- 
мого решения лежали за пределами области Г (или на ее поверх- 
НОСТИ). 

Продемонстрируем применение критерия выбора ФКО для 
решения следующих задач. 
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Рис. 7.3. Заданное тело О (а) погружается в круг Г (6): 
Ё — особая точка искомого решения 


Задача 1. Решить уравнение Лапласа для плоского тела 0, изоб- 
раженного на рис. 7.3, а. Известно, что искомое решение имеет 
особую точку Ё, расположенную вблизи ДО. 

В качестве фиктивной области Г в этом случае можно исполь- 
зовать, например, круг, для которого имеет место решение урав- 
нения Лапласа 


М 
С = У "(а соѕп + В, ѕіп мб), № > ‹, (7.9) 
п=0 
где г, Ө — полярные координаты; а, и В, — постоянные коэффи- 
циенты. 


Согласно критерию продолжимости круг надо расположить так, 
чтобы он содержал П и не содержал ё. Пример такого расположе- 
ния показан на рис. 7.3, 6. 

Задача 2. На рис. 7.4, а приведен случай, когда подобрать круг, 
удовлетворяющий критерию продолжимости, не удается. Поэто- 
му в качестве Г предложена кольцевая область (рис. 7.4, 6), для 
которой имеет место разложение 


| к“ 


Рис. 7.4. Заданное тело ДР (а) погружается в кольцевую область И (6) 
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М 
С = У г"(а, соз пб + В, ѕіп ие) + со ши, М ә о. (7.10) 

п=-М№ 
Задача 3. На рис. 7.5, а приведен более сложный случай, когда 
вблизи тела О имеются две особые точки: & и &.. Ни круг, ни 
кольцо для этой краевой задачи не годятся, поэтому здесь реко- 
мендуется прием суперпозиции ФКО [51]: Р погружается в об- 


ласть пересечения двух кольцевых областей Г = И, ПИ.. Разложе- 
ние для Г представляет собой сумму двух рядов 
С = 0 +0,, (7.11) 


первый из которых 


М 
Л = У, ћ"(а, со$ пб, + В; зп и) +с ши, М ә о (7.12) 
п=-№ 
относится к области И, а второй 


м 
О, = У т" (а, соз пб, + Б, эт ид) + со аљ, Мю (7.13) 
п=-М 
к области №. 


= 


Рис. 7. а Заданное тело Д (а) погружается в область пересечения двух 
фиктивных колец И и Г, (6) 


Как видно из рисунка 7.5, 6, особые точки ё и Ё, оказались за 
пределами области пересечения фиктивных колец и искомое ре- 
шение, таким образом, продолжимо в Г = И №. 

Задача 4. На рис. 7.6 приведен вариант применения приема [52], 
названного композицией расчетной области. Заданное тело Р раз- 
бивается на три элемента Р,, Р, и Р,, между которыми задаются 
условия совместности перемещений и напряжений. Затем каждый 
из элементов погружается в соответствующую фиктивную кано- 
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Ру И Рис. 7.6. Заданное тело Д (а) расчле- 
няется на элементы 2}, ЏР,, Р, ко- 
торые погружаются в канонические 

р области И, №, № (6) 


4 5 
а б 


ническую область И, Г. и № с таким расчетом, чтобы особые 
точки ё и Ё, оказались за их пределами. Искомое решение задачи 
для Р представляется в виде совокупности разложений, каждое 
из которых относится к своей канонической области: 


М 
(и = У Р," (апт с0$ пб + Вт іп Ө), 
п=0 
Г 090. є Ор, т = 1, 2, 3, № ә. (7.14) 

В практических задачах часто удается сделать так, чтобы под- 
области Д„ сами по себе были каноническими областями, совпа- 
дающими по форме с Г,. Такой способ разбиения и выбора кано- 
нических областей приводит к получению наиболее ВИ: 
ных, быстро сходящихся алгоритмов. 

Как показал опыт, применение приемов суперпозиции и ком- 
позиции позволяет всегда добиться выполнения условия продол- 
жимости. Поэтому методом ФКО можно в принципе решать ли- 
нейные краевые задачи любой степени сложности. 


7.2.2. Иллюстрации на тестовой задаче и другие правила 


Представляет интерес применить метод ФКО к задаче, реше- 
ние которой заранее известно. Пусть требуется решить уравнение 
Лапласа в плоском теле, ограниченном двумя конфокальными 
эллипсами (рис. 7.7), оси которых определены формулами 


А = Ссһү; В = Сү; 
А = Ссһү,; В, = СзВу», 


где С = сопѕі — расстояние между фокусами; 0 < ү < ү, <®. 


На внутреннем эллипсе задано значение функции (л, а на внеш- 
нем — значение функции (0. 
Для этой задачи известно точное аналитическое решение: 
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(7.15) 


Рис. 7.7. Плоское тело, ограниченное конфокальными эллипсами 
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Рис. 7.8. Погружение четырех вариантов эллипсоидного тела Д, оси кото- 
рого заданы значениями табл. 7.1, в фиктивную кольцевую область Г 
(слева) и соответствующие кривые сходимости (справа). Номер кривой 
соответствует номеру варианта. Для 1-го и 2-го вариантов условие продол- 
жимости выполняется, для 3-го и 4-го — не выполняется 
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И (7.16) 
72-7! 

Заметим, что решение (7.16) имеет особенность типа излом 
(разрыв первой производной) на отрезке, соединяющем фокусы 
эллипсов (где ү = 0). 

В качестве фиктивной канонической области для рассматрива- 
емой задачи выберем кольцо, для которого имеет место разложе- 
ние (7.10). Для ограниченного № постоянные а,, би, со определяют- 
ся из условия приближенного удовлетворения граничным услови- 
ям задачи, например методом наименьших квадратов (см. подразд. 
7.2.3). Результаты вычислений представлены на рис. 7.8 в виде за- 
висимостей максимальной погрешности решения краевой задачи 
= ОТ Числа удержанных слагаемых в разложении (7.10) т= 2№ + 1. 
Эти зависимости построены для различных соотношений между 
осями эллипсов (табл. 7.1). Как видно из рис. 7.8, поведение кри- 
вых существенно зависит от геометрических параметров эллипти- 
ческих областей. Хорошая сходимость наблюдается для 1-го и 2-го 
вариантов, для которых фокусное расстояние С меньше меньшей 
оси внутреннего эллипса В,. Поскольку ось В, совпадает с диамет- 
ром внутренней окружности фиктивного кольца, а особенность 
искомого решения расположена на отрезке, соединяющем фоку- 
сы эллипсов, то при С < В, эта особенность находится за предела- 
ми фиктивной канонической области и не препятствует выполне- 
нию условия продолжимости. Для 3-го и 4-го вариантов С > В, 
условие продолжимости не выполняется и, как зафиксировано на 
рис. 7.8, приближенные решения не сходятся к точному. 

Таким образом, численные эксперименты подтверждают спра- 
ведливость критерия выбора фиктивных канонических областей: 
если условие продолжимости выполняется, то приближенные ре- 
шения сходятся к точному; если же это условие не выполняется, 
то и сходимость отсутствует. 


Таблица 7.1. 
Варианты параметров эллипсоидального тела 


Меньшая Меньшая 


Большая Большая 

ось вну- ось, | Фокусное 
ось Ввну- ось внеш- 

треннего внешнего | расстоя- 
треннего него 

эллипса эллипса ние С 


эллипса 4А, 


В, 


В, 
08| озю | сха 


0,390 


Обсуждая возможность решения вариантов рассмотренной мо- 
дельной задачи, для которых С > В, укажем на необходимость 
использования вместо кольца других типов фиктивных канони- 
ческих областей, удовлетворяющих критерию продолжимости. 
Однако проще воспользоваться приемом суперпозиции базисных 
разложений, относящихся к двум фиктивным кольцам, центры 
которых смещены на расстояние Я друг от друга, как показано на 
рис. 7.9. Здесь же построены кривые сходимости приближенных 
решений 3-го варианта задачи (см. табл. 7.1) при варьировании 
величины Н. Как видно из рисунка, только в одном случае, когда 
Н = 0,44, приближенные решения сходятся к точному. Именно 
этот случай и соответствует выполнению критерия продолжимо- 
сти: особенность искомого решения здесь полностью исключена 


из области пересечения фиктивных кольцевых областей У =И ПИ.. 
В других трех случаях (Н = 0; Н = 0,2; Н = 0,9) критерий продолжи- 
мости не выполняется и, как следствие, сходимость решений от- 
сутствует. 

Таким образом, проведенные вычислительные эксперименты 
подтверждают справедливость критерия продолжимости как в слу- 
чае использования одной фиктивной канонической области, так 
и в случае суперпозиции нескольких фиктивных канонических 
областей. 

Как уже упоминалось выше, теоретически возможны случаи 
получения приемлемых решений и тогда, когда условие продол- 
жимости не выполняется. Опыт решения краевых задач методом 
ФКО показал, что такие исключения из общего правила встреча- 
ются крайне редко, а сами получаемые решения в таких случаях 
не отличаются высоким качеством. Поэтому на языке искусствен- 
ного интеллекта критерий продолжимости можно квалифициро- 
вать как эвристическое правило, обладающее высоким коэффи- 
циентом доверия. 

Помимо критерия продолжимости можно сформулировать еще 
несколько более-менее обоснованных правил выбора ФКО. Так, 
целесообразно стремиться к тому, чтобы особенности искомого 
решения и используемого общего решения для канонической об- 
ласти были совмещены в пространстве. Ясно, что при таком со- 
вмещении автоматически будет выполняться и условие продол- 
жимости. 4 

Однако надо иметь в виду, что условие продолжимости являет- 
ся более общим и может выполняться и при несовмещенных осо- 
бенностях, т.е. между координатами особенностей искомого ре- 
шения для Ди используемого общего решения для У допускается 
некоторое расстояние 6. 

Следующий предложенный критерий заключается в требова- 
нии метрической близости областей ри Г. Это требование непос- 
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редственно вытекает из геометрической интерпретации метода 
ФКО. Как ясно из физических соображений, добиться нужных 
напряжений (перемещений) на контурах заданного тела О тем 
легче, чем ближе между собой расположены в пространстве по- 
верхности фиктивного и вписанного в него тела. 

Еще один критерий — условие топологической эквивалентно- 
сти (одинаковой степени связности) между областями Пи И — 
предложен С. Ю. Большаковым и В.А. Елтышевым [2]. Этот крите- 
рий не всегда соответствует практическим результатам. Например, 
для случая, иллюстрируемого рис. 7.8, области Ш и У топологи- 
чески эквивалентны во всех четырех вариантах, между тем как 
сходимость приближенных решений к точному наблюдается толь- 


С ж 
1. Н= 0 
595 р 
Ма, 
Кр 40 1.2 
2. Н= 0,2 пя | 
о 
МА 
30 | 
3. Н= 0,44 20 {> 
10 
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Рис. 7.9. Случаи погружения эллипсоидального тела О, оси которого за- 

даны вариантом 3 табл. 7.1, в область пересечения двух фиктивных колец 

И ОГ. (слева) и соответствующие кривые сходимости (справа). Номер 

кривой соответствует номеру случая погружения. Условие продолжимо- 
сти выполняется только для 3-го случая погружения 


152 


ко в [-ми 2-м вариантах. Для случая, показанного на рис. 7.9, 
условие топологической эквивалентности между Пи У = И п, 
выполняется в 1, 2 и 3-м вариантах, тогда как сходимость зафик- 
сирована только в 3-м варианте. 

Вместе с тем есть основания предположить, что требование 
топологической эквивалентности между Ди Идля определенных 
классов задач может оказаться полезным. Тем более, что теория 
построения экспертных систем допускает использование как не- 
четких, так и неверно сформулированных правил, поскольку вер- 
дикт о полезности правила выносится окончательным значением 
соответствующего коэффициента доверия, вычисленным в резуль- 
тате обучения. 

Итак, мы привели четыре правила выбора ФКО. Наиболее ма- 
тематически обоснованным и практически подтвержденным яв- 
ляется критерий продолжимости. Использование других трех кри- 
териев может оказаться полезным для определенных классов за- 
дач, поэтому их также имеет смысл включать в базы знаний ин- 
теллектуальных систем, задавая этим правилам невысокие коэф- 
фициенты доверия либо предоставляя возможность системам са- 
мим определять коэффициенты доверия в процессе самообуче- 
НИЯ. 

Для применения первых двух критериев необходим предвари- 
тельный прогноз особенностей искомых решений. Математики, 
имеющие опыт решения краевых задач, обычно могут делать та- 
кой прогноз интуитивно. Однако в программных пакетах, пред- 
назначенных для широкого круга пользователей, рассчитывать на 
интуицию последних не приходится. В связи с этим в подразд. 7.3.1 
изложены принципы создания алгоритма, имитирующего интуи- 
цию математика-профессионала, выполняющего прогноз особых 
точек искомых решений краевых задач. 


7.2.3. Способы удовлетворения краевым условиям 


После того как фиктивные канонические области выбраны и 
построены соответствующие им общие решения дифференциаль- 
ных уравнений, решается задача определения коэффициентов, 
входящих в эти решения. Постоянные коэффициенты определя- 
ются из условий на’поверхности заданного тела, причем задача их 
нахождения может решаться несколькими способами. Рассмотрим 
некоторые из них. 

Метод граничной коллокации. Пусть требуется решить какое- 
либо дифференциальное уравнение для тела 0, на границе 5 ко- 
торого задано условие 


О (р), = 05). (7.17) 
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Пусть в качестве фиктивной выбрана некоторая область Г, для 
которой имеет место общее решение заданного дифференциаль- 
ного уравнения 


00р) = Уер), пер: (7.18) 


Согласно методу граничной коллокации количество слагаемых 
В этом решении ограничивается конечным числом №: 


М 
О(р) = У с.0,(р), рєУ. (7.19) 
п=1 


На границе 5 заданного тела Р через равные интервалы нано- 
сятся точки 5,, называемые точками коллокаций. Их число выби- 
рается равным числу слагаемых, удержанных в общем решении 
(7.19). Далее в это решение подставляются координаты первой кол- 
локационной точки и полученная сумма приравнивается к значе- 
нию граничной функции (7.17) в этой точке: 


М 
2, «0 „(51) = 0"()). (7.20) 


Поочередный перебор всех точек коллокаций приводит к сис- 
теме М№Млинейных алгебраических уравнений относительно с: 


М 
У`с,0,(5;) = 0°(,5,), і= 1, 2, ..., М. (7.21) 
п=1 


Нахождение коэффициентов с, из этой системы позволяет по- 
лучить решение граничной задачи, которое удовлетворяет гранич- 
ным условиям во всех коллокационных точках. Если выбор фик- 
тивных областей сделан правильно, то погрешность удовлетворе- 
ния граничным условиям на поверхности 5 между точками кол- 
локаций будет уменьшаться с увеличением числа №. 

Метод граничной коллокации достаточно универсален. В тех 
случаях, когда граничные условия накладываются не только на 
значения искомой функции, но и на их производные, координа- 
ты коллокационных точек вместо (7.17) подставляются в соответ- 
ствующие граничные уравнения, что приводит к аналогичным 
системам алгебраических уравнений для определения постоянных 
коэффициентов базисных разложений. 

Недостаток метода коллокаций состоит в том, что погрешность 
удовлетворения граничным условиям на поверхности 5 распреде- 
ляется неравномерно. 

Граничный метод наименьших квадратов. Согласно этому мето- 
ду формируется функционал граничных условий, представляю- 
щий собой интеграл по границе области от квадратичной невязки 
удовлетворения граничным условиям: 
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м 2 
0) = [5р (р)- 7) 45. (7.22) 
$1 л=] р 
Дифференцирование функционала по неопределенным коэф- 
фициентам с, (К = 1, 2, ..., № и приравнивание к нулю получен- 
ных производных приводит к системе линейных алгебраических 
уравнений 


Уо, [0, (2) (р) 45 = |0768) 0, (р) 45, К= 1, 2, ..., М№, (723) 
п=1і 6 5 


решение которой позволяет получить коэффициенты с,, обеспе- 
чивающие выполнение граничных условий на 55. Интегралы, вхо- 
дящие в (7.23), можно вычислять различными численными ме- 
тодами. Однако замечено, что наиболее простые и эффективные 
алгоритмы получаются, когда для вычисления интегралов ис- 
пользуется формула средних прямоугольников, причем число пря- 
моугольников берется в 5—7 раз больше порядка системы М. 
Более высокая точность вычисления интегралов, связанная с 
дополнительными затратами машинного времени, как прави- 
ло, не приводит к улучшению решения краевой задачи в целом. 
При уменьшении числа прямоугольников до М метод наимень- 
ших квадратов вырождается в метод граничной коллокации. 

Если граничные условия задачи имеют более сложный вид, 
чем условие (7.17), то метод наименьших квадратов нуждается в 
обобщении. Рассмотрим обобщение этого метода, предложенное 
Л.С.Лейбензоном [25]. 

Пусть надо решить задачу теории упругости в системе декарто- 
вых координат х, у, 2 для тела О, на части поверхности 5р которого 
заданы напряжения Р,, Ру, Р;. Пусть удалось подобрать фиктив- 
ную каноническую область Г, для которой имеет место общее 
решение уравнений Ламе: 


М М М 
= 0; О, = Ус; О, = Ус, (7.24) 
п=] п=] п=] 


где (,, О,, О, — компоненты упругого смещения; 0, 0, Ом — 
функции координат. 

Подставив разложения (7.24) в выражение закона Гука, полу- 
чим аналогичные разложения для компонент напряжений, дей- 
ствующих на поверхности 5р 


М № № 
Р, = рате Р, = рага Р, = Х.В. (7.25) 
п=1 п=1 п=1 
Тогда суммарная квадратичная погрешность удовлетворения 


граничным условиям может быть представлена в виде интегра- 
ла 
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5р | \И=1 


м 2 үм 2 (м : 
(ов, 8) +[бви- В) {ев,-Е) |а 020 
п=1 п=] 


условие минимума которого (дєр/дс, = 0, К = 1, 2, ..., № эквива- 
лентно системе линейных алгебраических уравнений относитель- 
НО Си: 


Ус, ](Р.„Р., + Вир + Р.„Р,.) 15р = 
п=1 5р 


= [(Р Ра + РУР, + РР.) 5. (7.27) 
5р 


Если на части поверхности $; тела Р заданы перемещения {/;, 

№ ж <> 2 

О, О, то функционал граничных условий имеет аналогичный 
ВИД: 


М 2 үм 2 үм 2 
у= | р С.О, = я + р с.О,, рЫ Я + 2 с„О., — л) ар, (7.28) 
п=] п 


50 п=1 =] 


а его минимальное значение обеспечивает система алгебраиче- 
ских уравнений 


М 
Ус, (ОО са О „Ок + Ок а5у = 


"=! 5) 


= (ОО +00, +00) 5. (7.29) 
50 


В технике наиболее часто встречаются краевые задачи со сме- 
шанными граничными условиями, когда на поверхности упруго- 
го тела заданы граничные условия как в напряжениях, так и в 
перемещениях. Для таких задач удобно использовать обобщение 
методики Л. С.Лейбензона. Формируется обобщенный функцио- 
нал 


| | 
Е = ——Ер + К —— єр, (7.30) 
ОР ху 
где К — весовой множитель, имеющий в системе СИ размерность 


Па/м?. 

Невязка =р вычисляется на участках поверхности, на которых 
заданы напряжения, а невязка =, — там, где заданы перемеще- 
НИЯ. 

Выполняя дифференцирование обобщенного функционала по 
с, приходим к системе алгебраических уравнений, обеспечиваю- 
щих его минимум: 
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Ы | 
б 9 | (Р.Р + Р.Р, + Р.Р.) 45р + 
Р $р 


п=1 


Е [ (0, +00, +0, О) 5 |= 
50 4 


< с (РРа + РР + РР) 45 + 

5р а 

+ к (007, +050, +00 и) 480. (7.31) 
50 


Коэффициентом К можно регулировать погрешность удовлет- 
ворения граничным условиям. При увеличении К возрастает точ- 
ность выполнения граничных условий в перемещениях и снижа- 
ется в напряжениях. При уменьшении К эффект получается обрат- 
ным. В практических вычислениях часто бывает удобно задавать 


к= (ЕЈІ)?, (7.32) 


где Е — модуль упругости Юнга; / — характерный размер задан- 
ного тела. 

Это соотношение следует из условия совпадения размерностей 
слагаемых в правой части уравнения (7.30). 

Рассмотренное обобщение метода наименьших квадратов име- 
ет недостаток, заключающийся в том, что погрешность удовлет- 
ворения граничным условиям на разных участках поверхности за- 
данного тела распределяется неравномерно. Кроме того, в неко- 
торых случаях бывает необходимо увеличить точность выполне- 
ния граничных условий на отдельных участках границы. Добиться 
требуемого эффекта можно, если в формулу (7.31) перед каждым 
интегралом ввести дополнительные безразмерные весовые коэф- 
фициенты А, (где т — номер безразмерного коэффициента) и 
увеличивать значения весовых коэффициентов перед соответству- 
ющими граничными интегралами. Точность выполнения гранич- 
ных условий на других участках при этом уменьшается. 

Задача подбора необходимых значений весовых коэффициен- 
тов Аи является-неоднозначной и представляет определенные труд- 
ности. В подразд. 7.3.4 излагается алгоритм ее решения, идея кото- 
рого заимствована из искусственного интеллекта. 


7.3. ИНТЕЛЛЕКТУАЛЬНЫЕ ПРОБЛЕМЫ МЕТОДА ФКО 


Метод фиктивных канонических областей является аналити- 
ческим методом решения краевых задач и обладает характерным 
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для таких методов недостатком. Он плохо поддается алгоритмиза- 
ции и может эффективно применяться только математиком-про- 
фессионалом, обладающим богатым опытом и хорошо развитой 
интуицией. Дело в том, что практически на всех стадиях решения 
краевой задачи возникают проблемы, для решения которых нет 
четких инструкций и правил. Ниже приводятся некоторые из ос- 
новных проблем применения метода ФКО, а также способы их 
разрешения, основанные, главным образом, на идеях и методах 
искусственного интеллекта. 


7.3.1. Прогнозирование особых точек решения 


Из приведенных выше теоретических положений следует, что 
для успешного решения краевой задачи методом ФКО необходи- 
мо, во-первых, предсказать возможные места расположения осо- 
бых точек искомого решения и, во-вторых, подобрать и располо- 
жить фиктивные канонические области так, чтобы они содержа- 
ли область Ди не содержали особые точки. 

Вторая часть этой проблемы (выбор фиктивных канонических 
областей) решается путем применения рассмотренных выше ме- 
тодик суперпозиции ФКО и композиции расчетных областей. 
Предсказание же возможных мест расположения особых точек 
искомого решения краевой задачи является менее проработан- 
ной и наиболее сложной интеллектуальной проблемой примене- 
ния метода ФКО. Дело в том, что точно указать особые точки 
функции, являющейся решением краевой задачи, можно только 
в том случае, если это решение известно. Таким образом, полу- 
чается, своего рода, замкнутый круг. Приступая к решению кра- 
евой задачи методом ФКО нам надо заранее знать места распо- 
ложения особых точек искомого решения. Однако определить их 
координаты можно только по виду решения краевой задачи, 
которое неизвестно. 

При построении алгоритма, прогнозирующего возможные ме- 
ста расположения особых точек, будем руководствоваться следу- 
ющими соображениями. Допустим, что Ср) — это искомое точ- 
ное решение краевой задачи, которое существует как в области 
р, так и за ее пределами, причем в точках ё}; &,, ..., &,, располо- 
женных вне области О, функция (р) обращается в бесконеч- 
ность. Функцию Ср) можно визуализировать с помощью линий 
постоянного уровня (изолиний), а также линий, нормальных к 
изолиниям (показаны на рис. 7.10 штрихами). Как видно из рисун- 
ка, линии, нормальные к изолиниям искомого решения, сходят- 
ся в особых точках &, &,, ..., &, функции Ср). Опираясь на подме- 
ченное свойство особых точек, можно построить следующий ал- 
горитм их прогнозирования [41]. 
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Ох, у) 


Рис. 7.10. Точное решение краевой задачи (х, у), которое существует, 

как в расчетной области Д, так и за ее пределами, причем в точках ё, ё, 

Ёз, расположенных вне области О, функция Сх, у) обращается в бес- 
конечность 


1. Исходная краевая задача решается приближенно каким-либо 
численным методом. 

2. В области ВБ строится картина распределения линий, нор- 
мальных к изолиниям найденного решения. 

3. Линии, нормальные к изолиниям, плавно продляются за гра- · 
ницы расчетной области 2. При этом они могут пересекаться в 


некоторых точках &1,&, ...,5,, которые и принимаются за возмож- 


ные места расположения особых точек искомого решения крае- 
вой задачи. 

Первый шаг этого алгоритма может быть реализован любым 
численным методом, например, методом конечных разностей, 
конечных элементов, граничных элементов и т.д. При реализации 
второго шага удобно вычислять градиент функции Хр), следуя 
вдоль которого легко построить линии, нормальные к линиям 
уровня. Наиболее затруднительным представляется третий шаг, 
поскольку задача продолжения построенных на предыдущем шаге 
нормальных линий за границы расчетной области О может быть 
решена однозначно только при наличии точного аналитического 
решения самой краевой задачи. 
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Можно попытаться построить некоторую двумерную функцию, 
аппроксимирующую численное решение краевой задачи в облас- 
ти 0, и экстраполировать это решение за ее границы. Однако бо- 
лее эффективным оказалось применение методики прогнозирова- 
ния закономерностей с помощью нейронных сетей. В частности, с 
задачей прогнозирования особых точек неплохо справлялся пер- 
септрон, который, усвоив закономерности нормальной к изоли- 
ниям линии, продлял ее за пределы расчетной области, находя 
точки пересечения с другими аналогичным способом полученны- 
ми кривыми линиями. Естественно полагать, что чем большее число 
линий пересечется в той или иной точке, тем выше вероятность 
нахождения особенности в этой точке и, следовательно, именно 
таким точкам надо уделять повышенное внимание при выборе и 
размещении ФКО. 

Изложенный выше подход применялся в задачах расчета ста- 
ционарных полей температур в поперечных сечениях лопаток тур- 
бины авиационного двигателя. Рассматривались два варианта: ло- 
патки первой ступени, поперечное сечение которых представляет 
собой четырехсвязную область (рис. 7.11, а, левая часть), и лопат- 
ки второй ступени — двухсвязная область (рис. 7.11, а, правая 
часть). Температура на внешней поверхности лопаток задавалась 
1068 °С, на внутренних — 785 °С. 


ЕЕ хх Я УХ 
НЯ АИ 
к 05е Я ПОВ жи Е у НЫ У “и заи ў Д < 
ИАА ОЦЕНА Уу о Ў о Ш) 7 
Е СЕТ И У ях М ТРЕ А р 
2274 \ ХЫ В [2322 Б 1. 
27 2 ЕРХ )) \ 


Рис. 7.11. Расчет температурных полей лопаток 1-й (слева) и 2-й 
(справа) ступеней турбины авиационного двигателя: 


а — поперечное сечение лопаток; б — результат применения методики прогно- 
зирования особых точек; в — картина распределения изотерм (0 — 850°С; 1 — 
917 °С; 2 — 1002°С; 3 — 1050°С) 
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Результаты работы программы, выполняющей численное ре- 
шение краевой задачи, строящей изолинии и имитирующей дей- 
ствия человека, продляющего нормальные к ним линии за грани- 
цы расчетной области, представлены на рис. 7.11, 6. Как видно из 
рисунка, прогнозируемые особые точки располагаются внутри 
полостей лопаток. 

Пользуясь полученной прогностической картиной размещения 
особых точек, нетрудно подобрать и разместить ФКО так, чтобы 
их пересечение удовлетворяло сформулированным выше крите- 
риям. Например, можно воспользоваться приемом суперпозиции 
ФКО, согласно которому искомое решение краевой задачи пред- 
ставляется в виде суммы: 


М 
О = У0;, (7.33) 
і=1 
где М — число канонических областей; 0; — решение, соответ- 
ствующее /-й канонической области. 
В качестве канонических областей были выбраны кольца, по- 
этому каждое слагаемое суммы (7.33) имело вид 


М 
О = У (а, соѕпф; + В эт пф) + с, пм, (7.34) 
п=-М 
где ү, Фф; — полярные координаты системы, центр которой совпа- 
дает с центром 1-го кольца. 

Для выполнения условий критериев выбора ФКО центры фик- 
тивных колец были совмещены с найденными путем прогноза 
особыми точками. 

В заключение отметим, что приведенная постановка задачи не 
отличается повышенной сложностью, учетом влияния различных 
физических факторов. С математической точки зрения она пред- 
ставляет собой задачу Дирихле для уравнения Лапласа в много- 
связной области. Однако с помощью методики интеллектуального 
компьютерного моделирования эту краевую задачу удалось решить 
точно. Результаты решения приведены на рис. 7.11, в в виде рас- 
пределения изотерм в расчетной области — поперечном сечении 
лопаток турбины авиационного двигателя. 


7.3.2. Оптимизация расположения ФКО 


Как отмечено ранее, успех решения каждой конкретной зада- 
чи методом ФКО (достижение малой невязки граничных уравне- 
ний) зависит от выбора и расположения фиктивных областей от- 
носительно заданного тела. Согласно критерию продолжимости 
выбирать ФКО следует так, чтобы область их пересечения содер- 
жала заданное тело Ди не содержала особые точки искомого ре- 
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шения. Алгоритм прогнозирования особых точек, приведенный 
выше, облегчает задачу адекватного выбора ФКО. Однако такой 
прогноз является приближенным, поскольку, во-первых, исход- 
ным материалом для алгоритма прогнозирования является грубое 
приближенное решение краевой задачи, выполненное численным 
методом, а, во-вторых, сам алгоритм прогнозирования основан 
на эвристическом правиле и, как все системы искусственного 
интеллекта, дает заключение, не гарантирующее правильность. 
Кроме того, при известной информации о местах расположения 
особых точек возможно бесчисленное множество вариантов рас- 
положения ФКО, удовлетворяющих требованию критерия их вы- 
бора. Как показали результаты вычислительных экспериментов [42], 
все они различаются качеством получаемых решений — невязки 
удовлетворения граничным условиям могут изменяться от прием- 
лемых значений до нуля. В связи с этим сформулируем задачу оп- 
тимизации расположения ФКО. 

Пусть для тела О решается краевая задача, выбраны фиктив- 
ные области и их начальное расположение. Необходимо изменить 
положение ФКО с целью обеспечения наилучшего качества ре- 
шения задачи. Рассмотрим алгоритм решения этой задачи, пред- 
ложенный и реализованный С.Л. Гладким [4]. 

Качество решения определяется невязкой граничных уравне- 
ний, поэтому за критерий качества оптимизационной задачи мож- 
но принять значение граничного функционала. Пусть начальное 


Рис. 7.12. Схема последовательного 
перемещения ФКО 
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положение некоторой ФКО определено положением ее центра (Су 
(рис. 7.12). Рассматриваются все точки на расстоянии 4/от Су. Ве- 
личина 4/ является входным параметром алгоритма и задается 
пользователем в долях характерного размера /тела 2. Далее мето- 
дом золотого сечения определяется направление перемещения 
(угол а!) центра ФКО на расстояние 41, обеспечивающее умень- 
шение значения выбранного критерия качества. Центр ФКО по- 
мещается в найденную точку Су, и вычисляется новое значение 
критерия качества. Если оно окажется меньше, чем в предыду- 
щем положении, то центр ФКО остается в точке С и далее осу- 
ществляются аналогичные действия. Если же значение критерия 
качества уменьшить не удалось, то величина шага 4/ уменьшается. 
Степень уменьшения величины 4/ также является входным пара- 
метром алгоритма. После нескольких итераций по одной ФКО она 
перемещается в некоторую точку С,. Затем рассматриваются дру- 
гие ФКО, для которых реализуются аналогичные итерационные 
алгоритмы, причем величина начального значения шага 4/ каж- 
дый раз восстанавливается. Процесс последовательного переме- 
щения центров фиктивных областей происходит до тех пор, пока 
значение критерия качества не уменьшится в заданное число раз 
или общее число итераций не превысит максимально допустимое 
значение. 

Численная реализация предлагаемого алгоритма выполнена так, 
что при оптимизации осуществляется динамическая визуализа- 
ция хода решения, т.е. пользователь в реальном режиме времени 
получает полную информацию о каждой итерации — схему пере- 
мещения ФКО и график изменения значения граничного функ- 
ционала. Если ход решения не устраивает пользователя, то он в 
любой момент может остановить итерационный процесс, изме- 
нить настройки алгоритма (значения входных параметров) и про- 
должить решение с того же места, на котором оно было останов- 
лено, но с новыми параметрами. 

Приведенный здесь итерационный динамически настраивае- 
мый алгоритм оптимизации расположения ФКО реализован в 
программе КЕСІОМЅ, предназначенной для решения краевых задач 
методом ФКО. 


7.3.3. Распознавание плеонизмов 


При решении краевых задач методом ФКО искомое решение 
задачи для заданной области 2 составляется из базисных функций, 
являющихся общим решением тех же дифференциальных уравне- 
ний, но относящихся к выбранным фиктивным каноническим об- 
ластям. Для реальных задач часто оказывается так, что некоторые 
из выбранных даным способом функций не нужны для формиро- 
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вания решения краевой задачи для О. Например, если область ри 
заданные на ней граничные условия симметричны относительно 
оси х, то в базисном разложении (общем решении для Г) не нуж- 
ны функции, антисимметричные относительно оси х. 

Другой пример. При использовании приема суперпозиции 
ФКО может получиться так, что некоторые функции, относя- 
щиеся к различным ФКО, будут линейно зависимы между собой. 
Если в первом случае наличие лишних функций в базисном раз- 
ложении не приведет к существенному ухудшению качества по- 
лучаемого решения, то во втором случае используемый метод 
решения разрешающей системы алгебраических уравнений мо- 
жет не справиться со своей задачей из-за имеющей место линей- 
ной зависимости между отдельными уравнениями. Лишние ба- 
зисные функции, называемые плеонизмами, обычно стараются 
исключить на стадии подбора базисных разложений. Однако уви- 
деть и распознать плеонизмы часто представляет собой сложную 
проблему, которую способен решить далеко не каждый матема- 
ТИК. 

Между тем, задача распознавания и исключения из сложной 
системы элементов, не влияющих или слабо влияющих на ее по- 
ведение, часто встречается в искусственном интеллекте. Так, в 
программах, моделирующих игру в шахматы (см. пподразд. 5.2), 
выявляются ходы, не оказывающие существенного влияния на 
развитие событий на шахматной доске. Это так называемые «мер- 
твые» вершины дерева возможностей. При проектировании ис- 
кусственных нейронных сетей (см. подразд. 3.3.2) выявляются и 
исключаются нейроны, не оказывающие влияние на решение, 
принимаемое сетью. В том и другом случаях используется прием, 
заключающийся в наблюдении за поведением характеристик сис- 
темы при поочередном исключении ее элементов. 

В случае решения краевой задачи методом ФКО такой характе- 
ристикой является среднеквадратичная погрешность удовлетво- 
рения краевым условиям ғ. Если при исключении какой-либо ба- 
зисной функции величина заметно увеличивается, то естествен- 
но полагать, что эта базисная функция необходима для формиро- 
вания решения краевой задачи. В противном случае мы имеем дело 
с плеонизмом, который следует исключить. 

Алгоритм, реализующий предлагаемую идею распознавания 
плеонизмов, может быть, например, таким. После определения 
коэффициентов с, в базисном разложении (7.4) и определения 
среднеквадратичной погрешности удовлетворения краевым усло- 
виям = исключается первое слагаемое (с, = 0) и вычисляется соот- 
ветствующая этому случаю погрешность ғ}. Затем исключается вто- 
рое слагаемое и так далее до и = №. Затем каждая =, сравнивается 
с є. Если окажется, что =, < є, то базисная функция (,(р) — пле- 
онизм, подлежащий исключению. 
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7.3.4. Оптимизация весовых коэффициентов 


При отыскании неизвестных коэффициентов общего решения 
методом наименьших квадратов (см. подразд. 7.2.3) вводятся весо- 
вые коэффициенты А„, которые определяют значимость удовлет- 
ворения тому или иному виду граничных условий. Такие коэффи- 
циенты можно задать на любой границе и на любой ее части, а 
также для любой компоненты искомого решения краевой задачи. 
С помощью этих коэффициентов можно влиять на невязку удов- 
летворения граничным условиям на той или иной границе (участ- 
ке границы). 

Специфика метода граничных наименьших квадратов такова, 
что действует некий закон сохранения. Увеличивая какой-либо ве- 
совой коэффициент, мы уменьшаем невязку удовлетворения гра- 
ничным условиям на соответствующей границе (участке границы). 
При этом невязки удовлетворения граничным условиям на других 
границах (участках границы) будут обязательно увеличиваться. 

Математик, решающий краевую задачу, обычно стремится за- 
дать весовые коэффициенты так, чтобы невязки удовлетворения 
граничным условиям распределялись более-менее равномерно как 
по участкам границ, так и по компонентам искомого решения на 
границах. При этом он руководствуется интуитивными соображе- 
ниями либо задает все коэффициенты А, равными единице. Как 
правило, такие способы задания весовых коэффициентов редко 
приводят к равномерному распределению невязок. 

Преследуя цель исключить творчество математика из процесса 
решения краевой задачи, можно предложить итерационный алго- 
ритм поиска весовых коэффициентов, обеспечивающих равномер- 
ное распределение невязок. В основу такого алгоритма можно по- 
ложить идею, аналогичную правилу Хебба (или дельта-правилу) 
для обучения персептрона (см. подразд. 3.1.3). 

Суть алгоритма состоит в следующим. Весовым коэффициен- 
там присваиваются начальные значения, равные единице, либо 
некоторые случайные значения. Решается краевая задача методом 
ФКО, в результате чего на каждом участке границы находятся 
невязки граничных уравнений (максимальные, среднеквадратич- 


ные или среднеинтегральные) =„, т=1, М , где М — число участ- 
ков границы. Затем вычисляются среднее значение невязки по всем 


‹ 


| М 
границам, = м У =„ И отклонения невязок на каждом участке 
т=1 


от є. Если на т-м участке границы окажется, что погрешность ғ, 
больше, чем =, то соответствующее этому участку границы зна- 
чение весового коэффициента К, следует увеличить, в противном 
случае — уменьшить. Такая коррекция весовых коэффициентов 
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может осуществляться, например, с помощью итерационного про- 
цесса. 


Ки (1+1) = К„(1) + п(Ет — Ес) (7.35) 
ИЛИ | 


К, (1+1) = А, ()-", (7.36) 
с 
где К„(1+ 1) и (0) — новое и старое значения весовых коэффи- 
циентов; у — коэффициент скорости обучения. 
Итерации по формуле (7.35) либо (7.36) продолжаются до тех 
пор, пока отклонения всех невязок от є, не станут меньше задан- 
ной величины. 


7.4. СИСТЕМА ИНТЕЛЛЕКТУАЛЬНОГО МАТЕМАТИЧЕСКОГО 
МОДЕЛИРОВАНИЯ КЕСЮМ$ 


Система КЕС1ОМ$! предназначена для решения краевых задач 
математической физики с использованием метода ФКО. В ней ре- 
ализованы все изложенные выше алгоритмы метода ФКО, в том 
числе и те, которые имитируют творческую деятельность матема- 
тика-профессионала, решающего краевые задачи. Система позво- 
ляет получать точные аналитические решения плоских задач ста- 
ционарной теплопроводности, теории упругости и термоупругос- 
ти, осесимметричных задач стационарной теплопроводности: и 
теории упругости. 

Система написана на языке Објесі Раѕса], имеет современный 
интерфейс и позволяет пользователю: 

выбирать тип анализа. Предусмотрены следующие типы анали- 
за: плоская задача теплопроводности, плоско-напряженное состо- 
яние, плоско-деформированное состояние, термоупругость — плос- 
кое напряжение и плоская деформация, осесимметричная задача 
теплопроводности, осесимметричное напряженное состояние; 

задавать исходную область. Для построения области предусмот- 
рены четыре вида графических примитивов: отрезок прямой ли- 
нии, дуга окружности, дуга эллипса, сплайн (полином любого 
порядка); . 

проводить дискретизацию области. Каждую линию области мож- 
но разбить на произвольное число отрезков и задать коэффициент 
сгущения; 

задавать граничные условия в зависимости от типа анализа. Для 
задач теории упругости можно задавать нормальные и касательные 


! Система разработана С.Л. Гладким под руководством автора книги и поме- 
щена на сайте ВИр://миму.рзри.ги/те?!оп$. 
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к поверхности компоненты векторов напряжений и перемещений; 
для задач теплопроводности — граничные условия первого, второ- 
го и третьего рода. Для всех типов анализа предусмотрено задание 
условий симметрии. Все задаваемые параметры могут произвольно 
меняться вдоль любой линии. Также на каждой линии может быть 
задан свой коэффициент коррекции граничных уравнений; 

вписывать заданную область в пересечение неограниченного 
числа ФКО. Для этого в системе есть несколько базовых типов 
ФКО, а также предусмотрена возможность создавать новые типы 
на их основе; 

реализовывать метод композиции. Расчетная область может быть 
разделена на любое число подобластей, каждая из которых может 
быть погружена в пересечение любого числа ФКО; 

решать поставленную задачу; 

оценивать невязки удовлетворения граничным условиям, вос- 
станавливать скорректированные граничные условия краевой за- 
дачи, которую удалось решить точно; 

применять реализованные в пакете алгоритмы, имитирующие 
творческую деятельность математика-профессионала: прогнози- 
ровать особые точки, оптимизировать центры расположения ФКО, 
исключать плеонизмы, оптимизировать весовые коэффициенты 
базисных разложений; 

писать программы на внутреннем языке программирования. 


Температура, °С 


1,0058Е +3 
1,4206Е +3 
1,8354Е +3 
2,2502Е +3 
2,5268Е +3 
2,9415Е +3 


Рис. 7.13. Распределение температуры в поперечном сечении ракетного 
твердотопливного двигателя 
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Интенсивность 
напряжений, 
Па 


[| 4,1387Е +6 
[0 7,6746Е +6 
0 9,4425Е +6 
Е] 1,1210Е +7 
Е 1,2978Е +7 
Ш 1,4746Е +7 
Ш 1.5925Е +7 


Рис. 7.14. Распределение интенсивности напряжений в поперечном 
сечении ракетного твердотопливного двигателя 


Система КЕСТОМЅ успешно применялась для компьютерного 
моделирования тепловых, гидродинамических, электрических, 
магнитных явлений, а также для расчета напряженно-деформи- 
рованного состояния упругих элементов инженерных конструк- 
ций сложной формы. В качестве примера на рис. 7.13 в виде картин 
изолиний приведено точное решение задачи о распределении тем- 
пературы в поперечном сечении ракетного твердотопливного дви- 
гателя. На рис. 7.14 в том же сечении показано распределение ин- 
тенсивности напряжений по Мизесу. Здесь отчетливо видна опас- 
ная концентрация напряжений (изолинии черного цвета на внут- 
ренней поверхности расчетной области), считающаяся одной из 
возможных причин гибели американского космического корабля 
«Челленджер». 

Отметим, что указанная концентрация напряжений обнаружи- 
вается и обычными численными методами (например, с помо- 
щью пакета АМъЅҮЅ), однако, в отличие от метода ФКО, погреш- 
ность, с которой эти напряжения вычисляются, надежной оцен- 
ке не поддается. 


Контрольные вопросы 


1. Чем отличаются численные методы решения краевых задач от ана- 
литических? В чем заключается кризис современной прикладной мате- 
матики? 
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Рис. 7.15. Результаты решения задачи Дирихле для уравнения Лапласа, 
полученные с помощью системы КЕС1ОМЪ: 


а, 6 — варианты распределения изолиний внутри квадратной области при раз- 
личных граничных условиях 


2. В чем состоит основное преимущество методов типа Треффтца пе- 
ред другими аналитическими подходами? 

3. В чем состоит идея метода фиктивных канонических областей? 

4. В чем суть критерия продолжимости и из-за чего он может не вы- 
полняться? 

5. Приведите пример, когда условие топологической эквивалентно- 
сти выполняется, а условие продолжимости не выполняется. Приведите 
пример обратной ситуации. 

6. Перечислите методы удовлетворения граничным условиям. 

7. Перечислите интеллектуальные проблемы применения метода ФКО, 
поясните их суть и пути решения. 

8. На рис. 7.15 приведены результаты решения системой КЕСТОМ за- 
дачи Дирихле для уравнения Лапласа в квадратной области со следую- 
щими граничными условиями: 


на рис. 7.15, а: (|, =; И = 0, =-5 И =-Б 


на рис. 7.15, 6: О | в = 1; О |с =-1; 01, =-В Ч] =1. 


Результаты представлены в виде распределения изолиний функции (/. 
Где находятся особенности решений? Какие фиктивные канонические 
области можно выбрать и как их расположить? 

9. На рис. 7.13 приведены результаты расчета с помощью системы 
КЕСІОМ№А температурного поля в поперечном сечении ракетного твер- 
дотопливного двигателя. На внутреннем контуре задана температура 
2900 °С, на внешнем — 200°С. Результирующее температурное поле в 
сечении двигателя представлено в виде распределения изотерм — ли- 
ний, имеющих одинаковую температуру. Где находятся особенности ре- 
шения? Какие фиктивные канонические области можно выбрать и как 
их расположить? 

_10. Зайдите на сайт һр: //уү№.рѕри.ги/геріопѕ, ознакомьтесь с систе- 
мой КЕСОМ$ и повторите решения краевых задач, результаты которых 
приведены на рис. 7.13 — 7.15. 
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